Kwantificering van organisatorische risico s binnen een omgeving met bestuurlijke besluitvorming

Transcriptie

1 Kwantificering van organisatorische risico s binnen een omgeving met bestuurlijke besluitvorming Toetsing van het simulatiemodel van Stanford University Auteur: André Kik oktober 2010

2 Samenvatting Voor u ligt de weergave van een onderzoek naar de mogelijkheden en correctheid van uitkomsten van een simulatietechnologie, ontwikkeld in de jaren 80 op Stanford University, USA. Deze simulatietechnologie is in staat organisatorische risico s te kwantificeren waarmee scenario s kunnen worden opgesteld die uitspraken doen over doorlooptijden, kwaliteitsaspecten van op te leveren werk en organisatiestructuren. Dit onderzoek spitst zich, door het kwalitatieve karakter, toe op toetsing van een viertal deelprojecten waarbij de toepasbaarheid van het Stanfordmodel aannemelijk wordt gemaakt en de technologie met meer vertrouwen kan worden toegepast. De deelprojecten zijn onder regie van overheidsinstanties, de Rijksgebouwendienst, RGD, als onderdeel van het ministerie van VROM en het Ministerie van Defensie, uitgevoerd. In het onderzoek is het aanbestedingsproces van een publiek privaat samenwerkingsverband als onderzoeksobject genomen. Door de aard van de samenwerkingsovereenkomst en de keuze voor gedelegeerd opdrachtgeverschap, wordt het aanbestedingsproces gekenmerkt door bestuurlijke besluitvorming. Onderzocht is in hoeverre het Stanfordmodel in staat is organisatorische risico s te kwantificeren in een omgeving die wordt gekenmerkt door bestuurlijke besluitvorming. Navraag op Stanford leert dat bij hun weten het model nog niet eerder in een dergelijke omgeving is toegepast. Daarnaast is speciaal voor dit onderzoek een stellingenlijst ontworpen waarmee de juiste parameterwaarde kan worden geselecteerd. Deze lijst is uniek omdat het Stanfordteam in hoofdzaak door etnografisch onderzoek de parameterwaarden heeft bepaald. Als uitgangspunt voor dit onderzoek is het aanbestedingsproces van een PPS project onder de loep genomen door op een retrospectieve wijze naar het proces te kijken. Slechts voor het Defensie project is hier van afgeweken, maar is wel binnen het vermelde theoretisch kader gebleven. De uitkomsten van het onderzoek zijn voor de RGD projecten opvallend. De betrouwbaarheid van de gesimuleerde uitkomsten ligt tussen de 86% en 96% van de actuele einddatums. De uitkomsten voor het Defensieproject moeten in een ander licht worden bekeken. Niet de toetsing van de juistheid van de einddatum is van belang, maar de uitkomsten van het gesimuleerde aanbestedingsproces zijn interessant. Vooral de inzet van stafpersoneel en de geconstateerde bottlenecks tijdens het proces kunnen van hulp zijn bij toekomstig werk. Mocht u snel willen lezen, dan kunt u het beste starten bij paragraaf 1.4, waar de methode van het onderzoek wordt toegelicht. Hierna kunt u verder lezen bij 2.2.6, Modellering, waar u kunt lezen hoe modellering binnen het Stanfordmodel eruit ziet. In paragraaf worden de diverse parameters, datgene wat deze technologie uniek maakt, toegelicht. In 4.2 wordt het model geëvalueerd waarna in hoofdstuk 5 de conclusies en aanbevelingen volgen. Met dit onderzoek hoop ik bij te dragen aan het vergroten van inzicht in het gebruik van simulatiemodellen en wens u om die reden veel leesplezier. i

3 Summary This research reports about the results of the use of a simulation technology on a number of projects. The uniqueness of the simulation technology, which is developed in the early eighties at Stanford University USA, is the behaviour files. These files contain a great number of cultures, organisational- and project characteristics and are able to run scenario analyses of projects. Through these scenario analyses, reports about the duration of the work, the quality of work and possible backlog of work are possible. Because of the concept of the model, optimizing flows of information within an organization, it is possible to optimize organisation structures. Due to the restricted number of projects and respondents, this research has a qualitative character. With this research, a more trustworthy use of the technology is obtained. Besides this reason, I hope this thesis will contribute to more insight in the use of simulation technology, particularly within the field of projects. All four projects are governmental owned and carried out under a public private partnership. The subject of this research is the bid phase of all projects. The research wants to show the possibility of the Stanford technology to quantify organisational risks. These risks occur within an environment characterized by governmental decision-making. The settings of the cultures, organisational- and project characteristics are collected with an on-line questionnaire, specially developed for this purpose. The questionnaire is unique because the Stanford team didn t operationalise the characteristics but collected them by means of ethnographic research. The research on three projects is carried out with a retrospective methodology. For one project, a what-if scenario is run. Both methodologies are part of one theoretical concept. The simulation outcomes of three projects are within a range of 4 % to 14 % of the actual data. This means that the simulated end dates are within the given range, calculated in comparison with the planned end dates versus the actual end dates. ii

4 Inhoudsopgave 1 INLEIDING Achtergrond, onderwerp en onderzoeksomgeving Centrale vraag, deelvragen en hypothese Centrale vraag Deelvragen Hypotheses Terminologie Simulatiemodel Organisatorische risico s Project Kwantificering Bestuurlijke besluitvorming Methode van onderzoek Relevantie onderzoek Leeswijzer LITERATUURONDERZOEK Inleiding Theoretisch deel Theorie van March en Galbraith Eindig systeem Amsterdams Informatiemanagement Model Discrete event Ontwikkeling simulatiemodellen Probabilistische waarden Eigenschappen simulatiemodel Validatie mogelijkheden Theoretisch kader van Thomsen Verklaring micro, meso- en macro-niveau-analyse Verklaring van terminologie iii

5 2.3 Praktisch deel Publiek Privaat Samenwerkingsverband (PPS) Inleiding Definitie Traditioneel of innovatief Voor- en tegenstanders PPS-overeenkomsten Besluitmodellen Systeemmodel Barrièremodel Geïntegreerd model Zwitsersekaasmodel Procesverloop Aanbestedingstraject Kenniscentrum PPS Modellering Onderscheidend vermogen Docking-studie Planningsoftware Parameters Stanfordmodel Algemeen Organisatie- of cultuurparameters Algemene parameters (waaronder gedrag- en projectparameters) Twee parameters nader toegelicht Statistieken Program Work breakdown Program Summary Statistics Project Statistics Backlog Ganntdiagram EMPIRISCH ONDERZOEK Inleiding Dataverzameling Respondenten Range voting Robuuste statistiek Face validiteit iv

6 3.5 Betrouwbaarheidstest Gevoeligheidsanalyse Retrospectieve meting What-if scenario Vier deelprojecten Toelichting Werkwijze datatransformatie Vier deelverzamelingen Renovatie Ministerie van Financiën Verzamelde data aanbestedingsproces Geplande en gesimuleerde data aanbestedingsproces Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie Nieuwbouw Informatiseringsbank-Groep & Belastingdienst Groningen Verzamelde data aanbestedingsproces Geplande en gesimuleerde data aanbestedingsproces Nieuwbouw Belastingdienst Doetinchem Verzamelde data aanbestedingsproces Geplande en gesimuleerde data aanbestedingsproces Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie Nieuwbouw Kromhout Kazerne Verzamelde data aanbestedingsproces Geplande en gesimuleerde data aanbestedingsproces Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie, 1e fase Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie, 2e fase Robuustheid Extreme parameterwaarden Gevoeligheidsanalyse ANALYSE Theorie en praktijk Definitie simulatiemodel Organisatorische risico s Bestuurlijke besluitvorming Organisatie theorieën Eindig systeem v

7 4.1.6 Amsterdams Informatiemanagement Model Twaalf vereisten Begrip -Aandacht Negen eigenschappen Datavaliditeit Theoretisch kader Retrospectief onderzoek Zwitsersekaas model Model evaluatie CONCLUSIE EN AANBEVELINGEN Inleiding Conclusie Uitkomsten simulatie Antwoorden hypotheses Aanbevelingen Onderwerpen vervolgonderzoek Bibliografie Index figuren, grafieken en tabellen Bijlage A: PPS-projecten Bijlage B: Lijst met figuren en tabellen Bijlage C: Toelichting concept simulatiemodel Bijlage D: Mailverkeer Stanford Bijlage E: Parameterwaarden Bijlage F: Data analyse Bijlage G: Test uitkomsten Monte Carlo runs vi

8 1 Inleiding In dit hoofdstuk wordt de reden en de uitvoeringswijze van het onderzoek toegelicht. In paragraaf 1.1 komt het onderwerp, de achtergrond en de onderzoeksomgeving aan de orde. Paragraaf 1.2 vermeldt de centrale vraag, de deelvragen en de hypotheses. Om de onderwerpen uit paragraaf 1.2 te verduidelijken, is in paragraaf 1.3 de gebruikte terminologie toegelicht. De wijze van onderzoek wordt in paragraaf 1.4 vermeld, gevolgd door een toelichting op de relevantie van het onderzoek in paragraaf 1.5. Als laatste vindt u in paragraaf 1.6 een leeswijzer. 1.1 Achtergrond, onderwerp en onderzoeksomgeving In de jaren negentig van de vorige eeuw is door een team van onderzoekers, verbonden aan het Center for Integrated Facility Engineering (CEFI) 1, onderdeel van Stanford University, Californië Verenigde Staten, op verzoek van de Amerikaanse overheid, een simulatiemodel ontwikkeld. Dit simulatiemodel is in staat organisatorische risico s te kwantificeren die zijn gebaseerd op cultuur, organisatie- en gedragsparameters. De uitkomsten van het Stanfordmodel maken het mogelijk om scenario-analyses uit te voeren op lijn- en projectorganisaties. Met dergelijke scenario s zijn betrouwbare uitspraken mogelijk over doorlooptijden, te verwachten knelpunten veroorzaakt door onvoorziene werkzaamheden, kwaliteit van op te leveren werk en optimalisering van de organisatiestructuur. Dit verslag beschrijft het onderzoek en de uitkomsten van een viertal simulaties. Aan de hand van geplande doorlooptijden, procesmodellering van het aanbestedingsproces van een publiek privaat samenwerkingsovereenkomst en verzamelde organisatie- en project specifieke kenmerken, zijn diverse simulaties uitgevoerd. De uitkomsten van deze simulaties zijn vergeleken met de actuele waarden. Door de beperkte hoeveelheid van de verzamelde data is er sprake van een kwalitatief onderzoek en is het niet juist om te spreken over validatie van het Stanfordmodel. Om die reden is in dit onderzoek de term toetsing gebruikt. De uitkomsten van dit toetsingsonderzoek dienen vooral om de toepasbaarheid van de simulatietechnologie aannemelijk te maken waardoor deze met meer vertrouwen kan worden toegepast. Het bijzondere aan het onderzoek is de omgeving waarin de vier projecten zijn uitgevoerd; een omgeving met een sterke beïnvloeding door bestuurlijke besluitvorming. Deze beïnvloeding kan van invloed zijn op de doorlooptijd van het aanbestedingstraject. De bestuurlijke besluitvorming komt voort uit de aard van de projecten waarbij de regie van de vier projecten in handen is van twee organisaties, de Rijksgebouwendienst of het Ministerie van Defensie. Navraag op Stanford leert dat het Stanfordmodel bij hun weten nog niet eerder is toegepast in een omgeving waar 1 maart

9 bestuurlijke besluitvorming een rol speelt. Alle vier projecten zijn of worden gerealiseerd onder een publiek-privaat samenwerkingsverband. Een publiek privaat samenwerkingsverband, PPS, houdt in dat de opdrachtgever de gewenste functionaliteiten van het te realiseren object definieert. Een private partij geeft na aanbesteding en gunning, invulling over ontwerp, financiering, uitvoering en onderhoud en bedrijfsvoering van het object over een lange periode. Deze periode kan variëren van 15 tot 25 jaar. In alle gevallen was of is een ministerie de opdrachtgever waarbij de RGD, voor drie projecten, en een projectteam van Defensie voor het vierde project, als gedelegeerd opdrachtgever de aanbesteding en de uitvoering van hun project(en) in goede banen leidt. Door de gekozen opdrachtgeverstructuur was vooral bij de drie projecten die onder regie van de RGD vielen, veel overleg, met bijbehorende bestuurlijke besluitvorming, met de opdrachtgever nodig. Het project van Defensie onderscheidde zich hiervan door vorming van een speciaal projectteam waarbij de projectdirecteur een groot mandaat kreeg. Naast de bijzondere omgeving waarbinnen het aanbestedingsproces is gerealiseerd, is er nog een bijzonderheid waarin het onderzoek zich onderscheid: de cultuur, organisatie- en projectkarakteristieken zijn per project vastgesteld met een on-line vragenlijst. Deze karakteristieken zijn door het Stanfordteam gedefinieerd als parameterwaarden. Het opstellen en gebruik van deze vragenlijst is uniek omdat het Stanfordteam geen operationalisering van de parameterwaarden heeft gebruikt maar hoofdzakelijk etnografisch onderzoek (zie Bijlage D: Mailverkeer Stanford) heeft toegepast om de juiste parameterwaarden te bepalen. 1.2 Centrale vraag, deelvragen en hypothese Centrale vraag De centrale vraag van dit verslag luidt: In hoeverre is het simulatiemodel, ontwikkelt op Stanford University, in staat organisatorische risico s van een project te kwantificeren binnen een organisatie die wordt gekenmerkt door bestuurlijke besluitvorming? Deelvragen Om tot beantwoording van de centrale vraag te komen, zijn er deelvragen geformuleerd. Deze vallen in twee groepen uiteen. De eerste groep bevat algemene deelvragen die in hoofdstuk 1 worden beantwoord. Deze vragen verduidelijken de terminologie zoals in de centrale vraag wordt gebruikt: I. Wat is een simulatiemodel? II. Wat zijn organisatorische risico s van een project? III. Wat wordt bedoeld met een organisatie die wordt gekenmerkt door bestuurlijke besluitvorming? 2

10 De tweede categorie deelvragen zijn de kerndeelvragen. Deze vragen geven een verdieping op de algemene deelvragen uit hoofdstuk 1 en komen in hoofdstuk 2 aan bod. Het gaat hier om de deelvragen: i. Op welke wijze hebben simulatiemodellen zich ontwikkeld? ii. Op welke validatie-aspecten kunnen simulatiemodellen worden beoordeeld? iii. Op welke wijze kunnen organisatorische risico s worden gekwantificeerd? iv. Wat zijn de kenmerken van bestuurlijke besluitvorming? v. Welke modellen zijn te onderscheiden bij bestuurlijke besluitvorming? vi. Wat is een publiek privaat samenwerkingsverband? vii. Op welke wijze verloopt het proces van een publiek privaat samenwerkingsverband? viii. Hoe loopt het aanbestedingstraject van een publiek privaat samenwerkingsverband? ix. Wat zijn de voor- en nadelen van een publiek privaat samenwerkingsverband? x. Op welke wijze wordt de opgedane kennis geborgd Hypotheses Er zijn drie hypotheses geformuleerd. Deze zullen in hoofdstuk 3, Empirisch onderzoek worden beantwoord. De hypotheses zijn: Hypothese 1: de uitkomsten van de stellingenlijst hebben een hoge betrouwbaarheid Hypothese 2: de uitkomst van de verzamelde data toont een hoge face validiteit Hypothese 3: Het Stanfordmodel is robuust. - De betrouwbaarheid van de uitkomsten van de stellingen wordt getest met een Cronbach s Alpha analyse. De Cronbach Alpha coëfficiënt is een maat voor betrouwbaarheid voor de meetresultaten tussen twee of meer items met het zelfde uitgangpunt. - Als maat voor een hoge face validiteit geldt de non-response op de stellingenlijst. Sargent (1992) geeft aan dat de herkenbaarheid of eerste indruk van de vragen, in dit geval stellingen, een maat is voor een bereidheid om de betreffende stellinglijst in te vullen. - Met de term robuust wordt de eigenschap van het simulatiemodel bedoeld om ook bij afwijkende invoerdata, betrouwbare voorspellingen te doen (Keller, 2006 en Thomsen, e.a., 1999). 1.3 Terminologie In deze paragraaf wordt de terminologie toegelicht die in de centrale vraag wordt gebruikt Simulatiemodel Met een simulatiemodel wordt de werkelijkheid van een proces en/of gebeurtenis zo realistisch mogelijk benaderd (Skolowski en Banks, 2009). Bij een productieproces kan dat op een dynamische manier waarbij parameters de werkelijkheid volgen. Bij een gebeurtenis is er sprake 3

11 van een eenmalige simulatie. Beide toepassingen maken een analyse van één of meerdere situaties mogelijk. Een model kan zijn gebaseerd op een bestaand systeem of gebeurtenis en wordt benaderd met één of meerdere wiskundige formules. Een simulatie onderscheidt zich hiervan door te proberen om binnen een vast tijdsbestek een proces of gebeurtenis te imiteren Organisatorische risico s In de vraagstelling van dit onderzoek staat organisatorische risico s van een project. Organisatorische risico s zijn eigenschappen van een organisatie en competenties van betrokken projectmedewerkers die van invloed zijn op de doorlooptijd van het totaal van uit te voeren activiteiten Hieronder verstaan Kunz e.a. (1998), activiteiten die niet volgens plan zijn uitgevoerd en worden veroorzaakt door, of een wisselwerking zijn tussen: onvoldoende beschikbaar zijn van informatie en/of onvoldoende uitwisseling ervan; wijze van besluitvorming; onvoldoende vakkennis; onvoldoende ervaring van het projectteam en/of individu met soortgelijk werk; onvoldoende kwaliteit van overleggen; ongelukkige samenstelling van het team; aanwezigheid van te veel innovatieve en/of nieuwe werkzaamheden; te veel verstoringen tijdens de uitvoering van de diverse activiteiten; niet accuraat omgaan met complexe problemen; te veel parallelle activiteiten; toewijzen van meerdere projecten; te weinig gebruik van standaarden, bijvoorbeeld formulieren Project Onder de term project wordt verstaan: een tijdelijke onderneming om een uniek product, dienst of resultaat op te leveren, in een bepaalde tijd, binnen budget en tegen een van te voren vastgelegde kwaliteit PMBoK (2006) Kwantificering Met de term kwantificering in de centrale vraag van deze scriptie wordt bedoeld dat risico s worden vertaald naar een meetbare eenheid. Binnen het Stanfordmodel gebeurt dit door risico s te kwantificeren in tijd, geld- en kwaliteitwaarden van te leveren producten Bestuurlijke besluitvorming Met een organisatie die wordt gekenmerkt door bestuurlijke besluitvorming (Vis en Schuur, red., 1988) doorloopt de besluitvorming een proces binnen van te voren vastgestelde kaders waarbij de focus ligt op een maatschappelijk belang. 4

12 1.4 Methode van onderzoek Dit onderzoek doet verslag van de opzet, uitvoering en uitkomsten van een viertal simulaties binnen organisaties waar bestuurlijke besluitvorming onderdeel uitmaakt van het proces. De organisaties in kwestie zijn de Rijksgebouwendienst en het Ministerie van Defensie. Het betreffen vier bouwprojecten die onder regie van deze twee organisaties, op de volgende locaties zijn gerealiseerd of nog in de realisatiefase zijn: gebouw Ministerie van Financiën in Den Haag, kantoorcomplex Belastingdienst en IB groep Groningen, kantoor Belastingdienst Doetinchem en gebouwencomplex Kromhout Kazerne Utrecht. De keuze van deze vier projecten is pragmatisch tot stand gekomen. Van alle vier de projecten is de (afgeronde) aanbestedingsfase onderzocht. Uitgangspunt van het onderzoek is een retrospectief onderzoek (Thomsen, e.a., 1999) waarbij door omvang van de respondentengroep, de uitkomsten als kwalitatief worden genomen. De opzet van het onderzoek is: 1) met een standaard procesvoeringmodel is het aanbestedingproces gemodelleerd, 2) het model is gevoed met de oorspronkelijke geplande doorlooptijden van de onderscheidende fasen en activiteiten, 3) eveneens zijn de actuele doorlooptijden van de fasen en activiteiten van de opeenvolgende deelprojecten ingevoerd, 4) met een on-line vragenlijst is data over de vier projecten verzameld waarna met robuuste statistiek de verzamelde data is beoordeeld op betrouwbaarheid, 5) de verzamelde data is getransformeerd naar de parameterwaarden van het model waarna deze waarden zijn ingevoerd in het model, 6) met de uitkomsten van het gesimuleerde model is een vergelijk gemaakt tussen de geplande, actuele en gesimuleerde uitkomsten en 7) als laatste is de robuustheid van het model vastgesteld. De gebruikte bronnen voor deze scriptie zijn divers. Bij het aanbestedingstraject van project Kromhout Kazerne is naast een vaste projectgroep, veel gebruik gemaakt van parttime ondersteuning. Deze parttime ondersteuning, bestaande uit interneen externe medewerkers, vond vooral plaats op beoordelingsmomenten van het aanbestedingsproces waarbij de besteedde uren door deze groep niet in zijn geheel zijn bijgehouden. Omdat een belangrijk invoeronderdeel van het Stanfordmodel het werkvolume in uren betreft, is een retrospectief onderzoek voor dit project niet mogelijk. Wel is het mogelijk om binnen het theoretisch kader van Thomsen e.a. (1999), een andere toetsing uit te voeren. Deze toetsing betreft de toepassing van een robuuste meting waarbij aan de hand van de actuele einddatum van het aanbestedingsproces, enkele hoofdkarakteristieken van de organisatie worden benoemd. Voor het theoretisch gedeelte van dit onderzoek, is gebruik gemaakt van wetenschappelijke publicaties en publieke publicaties. Voor het praktisch gedeelte is eveneens gebruik gemaakt van wetenschappelijke publicaties, de handleiding van het Stanfordmodel en informatie van diverse websites. Voor het empirisch onderzoek is gebruik gemaakt van een, voor Nederland, innoverende wijze van dataverzameling (range voting). Voor verwerking en analyse van de verzamelde data is gebruik gemaakt van Windows Excel en IBM-PASW (vm. SPSS) software (van Dalen en de 5

13 Leede, 2009). Het Stanfordteam heeft de kwantificering van de invloed die de parameters op elkaar uitoefenen niet gepubliceerd. Dat houdt in dat het model moet worden benaderd als een zwarte doos en in hoofdzaak de uitkomsten van het model met behulp van de ingevoerde parameterwaarden zijn te beoordelen. 1.5 Relevantie onderzoek Doelstelling van het onderzoek is om een bijdrage te leveren aan de kennis van het simulatiemodel zoals ontwikkeld op Stanford. Omdat het onderzoek door de omvang een kwalitatief karakter heeft, is het uitgangspunt van het onderzoek een toetsing op de toepasbaarheid van de technologie. Daarnaast dient de toets om het vertrouwen in het gebruik van de technologie te vergroten (Thomsen e.a., 1999). Navraag bij het CEFI in Stanford, mei 2009, leert dat niet eerder een simulatie is uitgevoerd in een dergelijke, sterk door bestuurlijke besluitvorming gestuurde, omgeving. De relevantie van het onderzoek geldt eveneens voor Nederland waar toepassing en nut van een dergelijk simulatiemodel relatief onbekend is. Enkele kennisinstituten in Nederland: o.a. Erasmus Universiteit, Rijksuniversiteit Groningen, TU Delft, TU Twente, en de UVA, zijn bekend met het bestaand van het Stanfordmodel. De parameters die worden toegepast in het Stanfordmodel zijn vastgesteld met behulp van een enquêtemethodiek waarbij geen uitgebreide waarnemingen of interviews zijn gehouden maar een stellingenlijst die speciaal voor dit doel is opgesteld. Het opstellen en gebruik van deze stellingenlijst is uniek (Bijlage D: Mailverkeer Stanford). 1.6 Leeswijzer Hoofdstuk 2 bestaat uit een literatuuronderzoek met een theoretisch- en een praktisch gedeelte. In het theoretisch gedeelte wordt het concept van het Stanfordmodel uitgelegd. Na deze uitleg volgt aan de hand van praktische literatuur, een omschrijving van de opbouw van het simulatiemodel met bijbehorende cultuur- en gedragsparameters. Als laatste wordt de vragenlijst toegelicht aan de hand waarvan de parameterwaarden zijn bepaald. Hierbij wordt eveneens de onderzoeksmethodiek toegelicht. Hoofdstuk 3 beschrijft het empirisch onderzoek. Van dit hoofdstuk worden als eerste de betrokken organisaties omschreven en er is een toelichting op de procesmodellering en de toegepaste parameterwaarden. Na de toelichting op het empirisch onderzoek volgt een analyse van de verzamelde data. Tot slot worden de resultaten van de simulatie vermeld en toegelicht. Hoofdstuk 4 geeft een toelichting van de theorie naar de praktijk. Hoofdstuk 5 vermeldt de conclusies, de aanbevelingen en geeft een voorzet van onderwerpen voor vervolgonderzoek. Aansluitend volgen een bibliografie, een lijst met figuren en diverse bijlagen. 6

14 2 Literatuuronderzoek 2.1 Inleiding In hoofdstuk 2 wordt aan de hand van een literatuuronderzoek en de handleiding van de software, het concept en het gebruik van het Stanford simulatiemodel toegelicht. Paragraaf 2.2 omvat het theoretische deel waarbij het concept van het Stanford model aan bod komt en het Amsterdams Informatie Model, Abcouwer e.a. (2006) als triangulatie dient. Verder worden in het theoretische gedeelte de kaders van een simulatiemodel toegelicht. Als laatste volgt het theoretisch kader waarbinnen de toetsing van het model is uitgevoerd. Paragraaf 2.3 neemt de praktijk als uitgangspunt en geeft uitleg over een publiek private samenwerkingsverband en de context waarbinnen de besluitvorming plaats vindt, gevolgd door een beschrijving van het aanbestedingsproces en wijze en toelichting van de modellering van dit proces. Ook wordt kort ingegaan op de onderscheidende karakteristieken van het Stanfordmodel ten opzichte van gelijksoortige modellen en bestaande planningsoftware. Als laatste wordt het Stanfordmodel toegelicht waarbij de eigenschappen, de weergave en de cultuur, organisatorische- en projectparameters ter sprake komen aan de hand van de diverse schermen van het model. 2.2 Theoretisch deel Theorie van March en Galbraith Het simulatiemodel van Stanford University wordt theoretisch onderbouwd door de theorie van March (1970) en Galbraith (1976). March stelt dat enig informatieoverdracht altijd via vaste kanalen verloopt; iedereen specifieke, maar beperkte eigenschappen heeft en het management teveel te maken krijgt met allerlei soorten verzoeken en uitzonderingen. In latere publicaties over informatie-uitwisseling en besluitvorming stelt March (1987) dat iedereen in staat is om slechts een beperkte hoeveelheid informatie op te nemen. Daarnaast stelt hij dat besluitvorming is gebaseerd op onvolledige informatie. Galbraith (1976) stelt dat de samenstelling van enig organisatie, parallellen zou moeten vertonen met het ontwerpen van bijvoorbeeld een gebouw of een brug. Echter, die situatie is bij de meeste organisaties niet van toepassing. Verder stelt Galbraith dat de aard van het werk tijdens de diverse projectfasen verandert maar dat de organisaties en bijbehorende werkprocessen elk op hun eigen wijze veranderen Eindig systeem Het Stanfordmodel is gebaseerd op een eindig systeem (Bank, 1984, blz ). Hierbij zijn de uitgangspunten dat er tussen de start en het einde van de simulatie een bekend aantal weken ligt. In de tussenliggende periode gebeuren er onvoorspelbare zaken die niet altijd zijn te simuleren. Het model is geen adaptief systeem (Thompson, 1967). Een adaptief systeem ontwikkelt zichzelf en zal om die reden minder foute voorspellingen doen. Wel is het mogelijk om met de uitkomsten 7

15 van meerdere simulaties, de parameterwaarden bij te stellen waarmee de uitkomsten van volgende simulaties nauwkeuriger worden Amsterdams Informatiemanagement Model Het Amsterdams Informatiemanagement Model (AIM), ontwikkelt door Abcouwer e.a. (2006), is een presentatiewijze die vanuit meerdere richtingen inzicht geeft in de informatievoorziening van een organisatie. Figuur 1 geeft een visualisatie van het AIM. Figuur 1: Concept AIM negenvlak. Bron: Abcouwer e.a., 2006, blz Het AIM is in Figuur 1 gemodelleerd als een negenvlak waarbij de hoofdlijnen worden gevormd door de onderneming, wijze van informatievoorziening, informatie-uitwisseling en informatietechnologie. Deze richtingen zijn: 1) verwoord vanuit de visie, de doelen en de strategie van een onderneming; 2) de manier waarop informatie beschikbaar is en 3) de manier waarop informatieoverdracht plaats vindt. Combinatie van deze drie hoofdrichtingen biedt de mogelijkheid om een organisatie en haar informatievoorzieningen onder de loep te nemen./ 8

16 Sturen Alignment Impact Vermogen Figuur 2: Hoofdassen Negenvlak. Bron: Abcouwer e.a., 2006, blz Daarnaast onderscheidt het AIM twee assen (Figuur 2) waarmee de redenering door het negenvlak gestalte krijgt: een organisatorische as die twee strategieredeneringen verbindt: Sturen & Vermogen en Alignement & Impact. De term Sturen staat voor het vormgeven (of sturen) van de structuur van een organisatie na een strategische keuze door die zelfde organisatie. De term Vermogen staat voor de kracht van een organisatie om zichzelf in de markt te positioneren waarbij zij uitgaat van haar eigen unieke eigenschappen. Op de informatie-as (horizontaal) zijn de vraag naar een oplossing (Alignement) en de geboden mogelijkheid tot een oplossing (Impact), elkaars tegenpolen. De kern van het negenvlak is de procesgang van de informatie: hoe verlopen informatiestromen en op welke wijze wordt deze informatie overgebracht Discrete event Wanneer bij een simulatie wordt uitgegaan van één modelleringmoment, is dit bekend als een discrete event (Kunz e.a., 1998). Simulatie van deze discrete gebeurtenissen (Banks, 1984, blz. 11) vindt plaats wanneer het procesmodel uitsluitend op vaste tijdstippen de gegevens verandert (en niet continu). De te volgen stappen bij enig simulatiestudie worden door Banks (1984, blz ), als volgt gedefinieerd: i. verwoorden van het probleem; ii. stellen van doelen; iii. opstellen van een overal plan; iv. modelleren van het proces; v. verzamelen van data; vi. programmeren van het proces; verzamelen van data; vii. programmeren ten behoeve van de simulatie; viii. controle op juistheid van programmering; ix. valideren van de simulatie ten opzichte van de werkelijkheid; x. testen op robuustheid van het simulatiemodel; 9

17 xi. xii. opzetten van een database van de simulatie-uitkomsten; opvolgen van de aanbevelingen die voortkomen uit het simulatiemodel Ontwikkeling simulatiemodellen Door de eeuwen heen zijn allerlei situaties gesimuleerd om te onderzoeken of de werkelijkheid kan worden nagebootst. Met de opkomst van de computer is dit onderzoek versneld. Na WOII is onder leiding van Cyert e.a.(1959) een computergestuurd model ontworpen om tweezijdig gedrag te bestuderen. Met tweezijdig gedrag wordt bedoeld dat twee personen of partijen het voor het zeggen hebben. Cyert e.a. (1959) probeerden hiermee een beter begrip te krijgen van het besluitvormingsproces. De uitkomsten van het proces waren in dat geval minder belangrijk. Cohen e.a. (1960) ontwikkelden een computerondersteunend spel waarmee beginnend leidinggevenden hun managementvaardigheden konden verbeteren. Forrester (1961) onderzocht eveneens het gebruik en toepassing van simulatiemodellen. Hij richtte zijn onderzoek op de wijze waarop het politieke krachtveld binnen een organisatie is te veranderen. Hiermee wordt bedoeld: de organisatieopbouw, het besluitvormingsproces en hoe grip te krijgen op de tijd die een organisatie nodig heeft om groei en stabiliteit te realiseren. Vanaf 2000 zijn er enorme ontwikkelingen geboekt in virtual reality systems (VRS). Dit zijn modellen die de werkelijkheid steeds beter en betrouwbaarder weergeven. De aanjager bij deze ontwikkelingen zijn nieuwe productietechnieken voor computerprocessoren. Met de verbeteringen van deze processoren is de rekensnelheid van een computer spectaculair toegenomen met zeer korte responstijden als resultaat wat live beeldverwerking mogelijk maakt Probabilistische waarden Het Stanfordmodel gaat ervan uit dat het zeer moeilijk is om voorspellingen te doen die zijn gebaseerd op het gedrag van één individu. Dit komt door het grillige gedrag van dat ene individu. Echter, het gedrag van gelijkgestemde groepen van mensen is wel goed te voorspellen. Dit voorspellen gebeurt met behulp van probabilistisch bepaalde waarden. Deze probabilistische waarden zijn gebaseerd op gedragstheorieën en gevangen in een aantal parameters. De parameters zijn gerelateerd aan de begrippen Tijd en Aandacht. Met het begrip Tijd wordt bedoeld: de hoeveelheid werk en de uitvoeringssnelheid van het werk. Met het begrip Aandacht wordt bedoeld: de tijd of aandacht die aan een activiteit kan worden besteed, de coördinatie van de uit te voeren activiteiten, hoe om te gaan met uitzonderingen en de aandacht die wordt besteed aan het besluitproces ( Kunz e.a., 1998). 10

18 2.2.7 Eigenschappen simulatiemodel Banks (1984, blz ) geeft een negental eigenschappen van een simulatie die zijn gebaseerd op een enkelvoudige waarneming: i. Systeem: een verzameling van mensen en middelen die in een bepaalde periode één of meer doelen willen bereiken ii. Model: een weergave in de tijd van een logisch proces met daarin mensen en middelen, activiteiten en relaties iii. Systeem samenstelling: opgave van alle variabelen die het systeem vormen iv. Entiteit: één van de zelfstandige objecten die het model vormt v. Eigenschappen: datgene wat onderdeel is van een zelfstandig object vi. Verzameling: bij elkaar horende zelfstandige objecten die op een specifieke wijze zijn geordend vii. Gebeurtenis: een plotselinge activiteit viii. Activiteit: een handeling met een bepaalde tijdsduur ix. Doorlooptijd: een tijdspanne waarin een handeling plaatsvindt Validatie mogelijkheden Naast de ontwikkeling van simulatiemodellen is er aandacht geweest voor het valideren van dergelijke modellen. Halverwege de jaren zeventig definieerden Cook en Campbell (1976) vier concepten om een computer gestuurd simulatiemodel te valideren: 1) interne validiteit, 2) externe validiteit, 3) de validiteit van de robuustheid en 4) de validiteit van het ontwerp. Feldman en Aranold (1983) richtten hun aandacht op andere punten: a) de inhoud, b) de ontwerpcriteria en c) het ontwerp zelf. De meeste onderzoekers kwamen tot de conclusie dat een zo een realistisch mogelijk simulatieontwerp het belangrijkste was. Burton en Obel (1984) onderzochten eveneens de validatie van computergestuurde modellen. Zij concludeerden dat één ding van belang is om een computergestuurd model te ontwikkelen: de ontwikkeling van een dergelijk model moet het resultaat zijn van de toepassing en niet de ontwikkeling van het model zelf. Hun uitgangspunten bij de ontwikkeling van enig simulatiemodel zijn: 1) een simulatiemodel moet een goed beeld geven van datgene wat wordt waargenomen en 2) met het waargenomen beeld worden verklaringen gezocht. Indirect blijkt dat het uitgangspunt normatief is; de waarnemer bepaalt of het simulatiemodel een goed beeld geeft waarbij aan de hand van een theorie, een hypothese wordt beantwoord. Sargent (1992) kwam met een model waarmee hij deze drie uitgangspunten eveneens bekijkt vanuit de juistheid van de in te voeren gegevens. In Figuur 3 is dit als datavaliditeit benoemd. 11

19 Figuur 3: Conceptuele delen en processtappen voor validatie. Bron: Sargent, 1992 De juistheid van de invoergegevens is één van de waarborgen van de drie uitgangspunten, namelijk een model gebaseerd op de werkelijkheid. Dit concept is door Sargent verwoord als Systeem van de reële wereld en bevat een conceptueel model en een computermodel. De operationele validiteit van het computermodel en de validiteit van een conceptueel model vinden beide plaats met relevante data, verzameld in een bestaande situatie. De juistheid van het computermodel wordt bepaald met gegevens van het conceptueel model. Eind jaren negentig van de vorige eeuw publiceerden Thomsen e.a. (1999) een studie over validatie van simulatiemodellen. Bij dit onderzoek wordt het theoretisch model van Thomsen e.a. (1999) toegepast bij de toetsing van het simulatiemodel Theoretisch kader van Thomsen Validatie van het model wordt uitgevoerd met het theoretisch kader van Thomsen e.a. (1999). Binnen dit kader zal worden gekeken naar de reden van de simulatie, de representativiteit van de simulatie en de bruikbaarheid van de simulatie. Doordat het simulatiemodel aangeeft waar in het proces van het project (mogelijke) vertragingen kunnen optreden, is het mogelijk deze gebeurtenissen in tijdseenheden te kwantificeren. 12

20 Figuur 4: Theoretisch model om simulatiemodel te valideren. Bron: Thomsen e.a., Verklaring micro, meso- en macro-niveau-analyse Met de drie verschillende niveaus (zie Figuur 4) wordt bedoeld dat de uitkomsten van handelingen en prestaties van een organisatie vanaf de vloer (op microniveau), tot aan een samengenomen gedrag/handelingen/prestaties van een organisatie (macroniveau) worden getoetst aan de voor dat niveau bekende theorieën. Daarbij fungeert het mesoniveau als intermediair van het micro- en macroniveau. Uitgangspunt van het theoretisch model is dat alle niveaus invloed op elkaar uitoefenen (Thomsen e.a., 1999) Verklaring van terminologie Thomsen e.a. (1999) onderscheiden drie eenheden waarlangs een validatie moet plaatsvinden:1) de uitgangspunten of reden om een validatie uit te voeren; 2) de zekerheid dat de uitkomsten van enig simulatie kloppen, hier Representatie genoemd en 3) de toepasbaarheid van het simulatiemodel. Dit onderzoek beperkt zich tot het vierde kwadrant waar de twee voorgaande validatievereisten samenkomen met de validatie van toepasbaarheid. De drie vermelde items zijn met vier sub-items te ondervangen: a) retrospectief, b) what-if scenario s, c) natural history en d) toegepaste waarschijnlijkheid. Retrospectie is een methode waarbij een situatie in het verleden wordt nagebootst (Blumberg e.a., 2005). Aan de hand van de uitkomsten wordt daarna geanalyseerd of deze overeenkomsten met de werkelijkheid, actuele data, overeenkomen. Een nadeel van deze wijze is het verzamelen van data van activiteiten die in het verleden zijn uitgevoerd. Verzamelen van dergelijk data geeft de kans op een vertekend beeld door het niet meer goed herinneren van de situatie 13

21 Door het opstellen van scenario s, ook wel bekent als what-if scenario s, als uitgangspunt te nemen, ontstaat de mogelijkheid om afhankelijke variabelen te wijzigen om daarmee de uitkomst van stellingen te beïnvloeden. Wanneer wordt uitgegaan van de bestaande situatie, kunnen de uitkomsten van het Stanfordmodel op een robuuste wijze worden getest. Dit is mogelijk door voor de bestaande situatie het proces te modelleren en de organisatie specifieke afhankelijk variabelen (o.a. de parameterwaarden) in te voeren. Tot slot wordt het model gesimuleerd waarbij de uitkomsten gelden als voorspellingen die na verloop van de tijd kunnen worden vergeleken met de actuele waarden. Als laatste beschrijven Thomsen, e.a. (1999) een mogelijkheid die een voortzetting is van het voorgaande uitgangspunt: de bestaande situatie. Het verschil is dat de afhankelijke variabelen, hier het aantal toegewezen medewerkers en de organisatie specifieke parameterwaarden, aan de hand van de simulatie-uitkomsten zijn aan te passen. Hierdoor wordt het mogelijk een optimale informatiestroom in te richten en daarmee de doorlooptijd van een het proces te optimaliseren. 2.3 Praktisch deel Publiek Privaat Samenwerkingsverband (PPS) Inleiding Dit onderzoek toetst de betrouwbaarheid van de uitkomsten van het Stanfordmodel waarbij het aanbestedingsproces binnen een publiek privaat samenwerkingsverband (PPS) als casus dient. Interessant hierbij is dat de omgeving van een publiek privaat samenwerkingsverband sterk wordt gekleurd door een context van bestuurlijke besluitvorming. Navraag in mei 2009 bij de ontwikkelaars van het model in Stanford leert dat een dergelijk proces naar hun weten niet eerder is gesimuleerd. Om aan te tonen dat binnen een publiek privaat samenwerkingsverband sprake is van een sterke nadruk op bestuurlijke besluitvorming, wordt ingegaan op mogelijke invloed hiervan op de doorlooptijd van het aanbestedingsproces Definitie Er is volgens Bult-Spiering e.a. (2005) veel verwarring rond het begrip PPS. De auteurs hebben mede om die reden de term PPS gedefinieerd als een tijdelijk samenwerkingsverband tussen meerdere organisaties die wordt gekenmerkt door op voorhand bereikte overeenstemming over kosten en opbrengsten. Het maken van afspraken over kosten en opbrengsten komt voort uit een overeengekomen verdeling van taken en verantwoordelijkheden. Door deze verdeling van taken en verantwoordelijkheden ontstaat er een netwerk van organisaties. 14

22 Traditioneel of innovatief Een PPS constructie onderscheidt zich van een traditionele wijze van aanbesteden door de onbekendheid van de gekozen uitvoeringswijze. Om die reden worden uitsluitend de gewenste functionaliteiten van het te realiseren object geformuleerd. Door in gesprek te gaan met meerdere aanbieders wordt de afweging gemaakt van de beste combinatie tussen de aangeboden oplossing, financiering, prijs, realisatie en, indien van toepassing, de exploitatie over een lange periode Voor- en tegenstanders PPS-overeenkomsten De overheid gaat steeds doelmatiger om met haar beschikbare financiële middelen. Werken binnen een PPS-overeenkomst met bijbehorende vergaande samenwerking is daarvan één van de oorzaken. Daarnaast is er een omslag in denkwijze; door zo precies mogelijk de gewenste functionaliteiten te beschrijven, ligt er een grotere nadruk op het gebruik na realisatie dan op de realisatie van dat werk zelf. Voorstanders van PPS benadrukken dat de kracht van de overheid ligt in het bij elkaar brengen van partijen maar in mindere mate in realisatie en beheer van gebouwen, wegen en kunstwerken (bijvoorbeeld een viaduct). Tegenstanders van dergelijke samenwerkingsverbanden stellen dat bij toepassing van een PPS de overheid haar publieke taak veronachtzaamt. Daarnaast blijkt uit eerdere gelijksoortige projecten, bijvoorbeeld de realisatie van een schoolcomplex (Bult- en Spiering, e.a., 2005, blz ), dat de opdrachtgever als toekomstige gebruiker zich gaandeweg de definitiefase en het aanbestedingstraject realiseert dat zij de meeste activiteiten zelf besluit, daarbij gesanctioneerd door haar bestuur of directie. Door deze ontwikkeling wordt het verschil met een traditionele aanbestedingsvorm steeds kleiner Besluitmodellen De omgeving van een aanbestedingsproces van een publiek-privaat samenwerking waarbinnen de vier deelprojecten zijn uitgevoerd, hebben te maken met bestuurlijke besluitvorming. Deze vorm van besluitvorming valt binnen een politieke context die met verschillende modellen kan worden weergegeven. Vis e.a., (1988) onderscheiden onderstaande drie modellen Systeemmodel Bestuurlijke besluitvorming verloopt volgens het systeemmodel in fasen. Een voorbeeld hiervan is een maatschappelijke wens waarbij belangenorganisaties functioneren als intermediair tussen die organisaties en de politiek. Die laatste bepaalt de agenda van voorstellen van nieuw uit te voeren beleid. Ambtenaren voeren in opdracht van de portefeuillehouders (bijvoorbeeld ministers of gedeputeerden) de voorbereidingen van dergelijke voorstellen uit door relevante gegevens te verzamelen. Aan de hand van de verzamelde gegevens kiest de politiek voor een beleid, waarna 15

23 de portefeuillehouders gecontroleerd door een college, het beleid vorm geven met concrete uitvoeringsbesluiten Barrièremodel Een andere wijze van bestuurlijke besluitvorming is het Barrièremodel. De uitgangspunten bij dit model zijn dat burgers zelf hun maatschappelijke wensen onder de aandacht moeten brengen op een wijze dat politici ze op hun agenda zetten om er een besluit over te nemen. Diezelfde politici zullen na de besluitvorming, met ondersteuning van de ambtelijke organisatie, het besluit uit laten voeren. De barrières binnen dit model zijn als volgt te benoemen: 1) (h)erkennen van problemen; 2) afwegen van politieke wensen en verlangens, 3) besluitvorming aan de hand van politieke agendapunten en 4) uitvoeren van een besluit dat leidt tot wetgeving Geïntegreerd model De twee modellen zijn, ondanks hun verschillen, relatief eenvoudig in elkaar te schuiven. Daarmee ontstaat een geïntegreerd model van het bestuurlijke besluitproces waarin de belangrijkste partijen zijn vertegenwoordigd. Onderstaande figuur geeft een indruk van het geïntegreerde model. Figuur 5: Geïntegreerd model van het bestuurlijke besluitproces. Bron: Vis e.a.1998, blz. 27. De eerste barrière [Figuur 5] is de vertaling van maatschappelijke wensen in politieke wensen. In het tweede deel komt de prioriteitsstrijd tussen de diverse wensen aan de orde. In dit deel zijn twee barrières te definiëren: 1) een afweging van wensen en besluitvorming en 2) het omzetten van besluiten naar uitvoeringsmaatregelen. 16

24 Zwitsersekaasmodel Een gelijksoortige redenering over integratie van gebeurtenissen is bekend onder de naam Zwitsersekaasmodel (Reason, 1998). Reason benadert zijn model vanuit de Veiligheidskunde. Onderstaande Figuur 6 geeft een voorbeeld van het Zwitsersekaasmodel. Figuur 6: Zwitsersekaasmodel 2 Reason stelt dat enige calamiteit pas kan plaatsvinden wanneer een aantal uitkomsten van gebeurtenissen exact met elkaar samenvallen [Figuur 6]. De plakken kaas zijn de metafoor voor procedures om fouten te voorkomen. De gaten in de afzonderlijke plakken kaas staan voor mogelijke fouten en gemaakte fouten. De lijn of gebeurtenis die door de gaten van de diverse stukken kaas loopt, is de metafoor voor de kans dat de uitkomsten van meerdere gebeurtenissen samenvallen waardoor een calamiteit plaatsvindt. 2) mei

25 2.3.3 Procesverloop Onderstaande Figuur 7 geeft het basisschema PPS Proces met zijn drie fasen en bijbehorende processtappen. Basisschema PPS Proces concurrentiegerichte dialoog met bijbehorende documenten Initiatief en keuze contractvorm Initiatief Keuze contractvorm Voorbereiding aanbesteding Selectie Aanbesteding Dialoog Inschrijving Gunning Voorbereiding realisatie Contract uitvoering Realisatie Exploitatie Eindoplevering Figuur 7: Basisschema PPS-proces. Bron: Congresverslag PPS: ervaringen met rijkshuisvesting 28 oktober 2008, blz. 30. In het Basisschema PPS-proces zijn drie fasen benoemd: 1) Initiatief en keuze contractvorm, 2) Aanbesteding en 3) Contractuitvoering. In de eerste fase worden de stappen gezet om te komen tot een projectomschrijving en de keuze van de juiste contractvorm. Fase 2, de Aanbestedingsfase, omvat de voorbereiding tot de aanbesteding, de selectie van bedrijven die in aanmerking komen om het werk uit te voeren, de dialoog (voor een toelichting, zie de volgende paragraaf 2.3.6: Aanbestedingstraject, onder Concurrentiedialoog), de inschrijvingsprocedure met bijbehorende beoordeling en de uiteindelijke gunning door de opdrachtgever van het werk. De laatste fase betreft de Contractuitvoering. Deze fase omvat de voorbereidingen om het werk uit te voeren, de uiteindelijke uitvoering en na oplevering van het werk, de exploitatieperiode. Deze 18

26 periode varieert van 10 tot 25 jaar. Na de exploitatieperiode volgt de eindoplevering in de vorm van een overdracht van het object (bijvoorbeeld een gebouw of een weg) Aanbestedingstraject Deze scriptie beschrijft de opzet en uitkomsten van het onderzoek van een simulatie op het aanbestedingsproces van vier PPS projecten. Om die reden is deze fase uitgebreider toegelicht. Het aanbestedingsproces onder regie van de Rijksgebouwendienst wijkt enigszins af van het aanbestedingsproces dat onder regie van Defensie is uitgevoerd. Het grootste verschil tussen de twee partijen is dat bij het Defensieproject een externe opdrachtgever ontbreekt. Het aanbestedingsproces bij een PPS traject staat bekend onder de naam Concurrentiegerichte dialoog 3 Voorbereiding overeenkomst Voorbereiding aanbesteding Ambitie document Leidraad selectie Aankondiging Selectieprotocol Aanmelding constortia Selectie Uitnodiging tot dialoog Aanbesteding PSC Projectvisie Concept DBFMO contract + BOM Leidraad dialoog Dialoog Processen verbaal van dialoog Informatie memoranda Definitieve PSC Uitnodiging inschrijving Inschrijving Inschrijving Final close garantie Gunning DBFMO contract + BOM Leverings overeenkomst Wijzigingen DBFMO contract + BOM BOM: Betalingsmechanisme, Outputspecificatie en Monitoring Overeenkomsten Aanbestedings stukken INTERN opdrachtgever Figuur 8: Aanbestedingsproces. Bron: Congresverslag PPS: ervaringen met rijkshuisvesting, 28 oktober 2008, blz mei

27 Voorbereiding aanbesteding: Elk aanbestedingproces [Figuur 8] gebeurt volgens een vast protocol. Bij het begin van het aanbestedingsproces stelt het projectteam een ambitiedocument op. In dit document verwoordt de opdrachtgevende partij wat zij van plan is en wat de verwachtingen zijn van de opdrachtnemer. Voordat de beslissing valt of er publiek- privaat wordt aanbesteed, is er met een kostenraming onderzocht of een publiekprivate aanbesteding economisch voordeliger is dan een traditionele aanbesteding. Wanneer de beslissing is genomen om het project publiekprivaat aan te besteden, wordt gedurende het hele aanbestedingsproces een geactualiseerde afweging gemaakt. Deze afweging gebeurt op financiële en economische gronden tussen een publiekprivate, en een private aanbesteding. De on-going afweging wordt de Publieke Sector Comparator, PSC, genoemd waarmee zicht blijft op alle kosten tijdens de gehele contractperiode. Een tweede functie van de PSC is dat het dienst doet als prijsvergelijk bij de uiteindelijke inschrijvingsronde. Dat houdt in dat het mogelijk is om de prijzen van de geïnteresseerde partijen te vergelijken met de prijzen uit de geactualiseerde versie van het PSC. Aan de hand van de projectvisie en de uitkomsten van het PSC wordt er een concept contractvorm opgesteld die kan worden toegepast binnen een PPS overeenkomst. Voor dit doel zijn meerdere contractvormen beschikbaar. Eén van de contractvormen is een DFBM (Design Finance Built and Maintenance)-contract. Bij deze contractvorm zijn het ontwerp, de financiering, de bouw en het onderhoud gedurende een lange periode, voor rekening van de opdrachtnemer. Een andere vorm is een DFBMO (Design Finance Built Maintenance and Operate)-contract. Bij deze contractvorm heeft de opdrachtnemende partij gedurende lange tijd eveneens de operationele verantwoording voor het te realiseren object. Uit de concept contractvorm volgen kaders waarbinnen met mogelijke opdrachtnemers kan worden gesproken. Door meerdere partijen voor het aanbestedingsproces te interesseren, probeert de opdrachtgever de kans op innovatieve oplossingen te vergroten. Om te zorgen dat uitsluitend serieuze kandidaten zich aanmelden, stelt de opdrachtgever een selectieprotocol op. Aan de hand van dit protocol kunnen partijen beslissen of zij voor het werk in aanmerking komen. Meestal is een partij niet in staat om aan de selectie-eisen te voldoen en wordt er voor dit doel een consortium gevormd. Het is het consortium dat in eerste instantie zijn interesse voor het project laat weten aan de opdrachtgevende partij. Om de voorbereidingen van de aanbesteding te starten, stelt de opdrachtgever een protocol op. Dit protocol wordt gebruikt ter voorbereiding van de aanbesteding. Een dergelijke procedure wordt gehanteerd om een zo transparant mogelijke aanbesteding te garanderen en toekomstige juridisch geschillen hierover zo veel mogelijk uit te sluiten. Na de voorbereidingen van de aanbesteding, worden aan de hand van een prestatielijst eisen opgesteld over het ontwerp, de bouw, het onderhoud, de exploitatie en de facilitaire diensten. Eveneens wordt een leidraad uitgegeven door de opdrachtgevende partij waarbij zij verwoordt op welke criteria zal worden geselecteerd. Hierna volgt de aankondiging die eveneens wordt gepubliceerd in het Supplement op het Publicatieblad 20

28 van de Europese Unie. De reden hiervan is de budgetomvang en het publieke karakter van de opdracht waardoor een Europese aanbesteding verplicht is. Selectie: Met behulp van het selectieprotocol wordt een eerste selectie gedaan van geïnteresseerde partijen. De geselecteerde partijen worden uitgenodigd om een procedure te doorlopen waarbij zij mee gaan in een prékwalificatiefase, een dialoogfase en de uiteindelijke inschrijving. Dialoog: De dialoog heeft als functie dat alle betrokken partijen laten weten wat ze van elkaar verwachten en er afstemming tussen vraag en aanbod plaatsvindt. De diverse gespreksronden dienen eveneens om voldoende vertrouwen in elkaar te krijgen maar ook om op termijn eenduidige aanbiedingen te krijgen. Daarnaast worden alle ingediende plannen doorgesproken op innovatieve oplossingen bij het ontwerp, de bouw en de exploitatie van het gebouw. De opdrachtgever stelt van alle gesprekken proces-verbalen op wat een objectief vergelijk tussen de aanbiedende consortia mogelijk maakt. Alle proces-verbalen worden samengevat in een informatiememorandum. Aan de hand van de uitkomsten van het informatiememorandum laat de opdrachtgever weten welke consortia mogen inschrijven. Inschrijving: Slechts een beperkt aantal consortia, meestal drie, wordt gevraagd een offerte op het werk uit te brengen. Bij dit deeltraject moeten de diverse consortia binnen een vastgestelde periode hun aanbod voor het werk insturen. Dit aanbod omvat niet uitsluitend de prijs maar eveneens de wijze van uitvoering en een onderhoudsconcept voor de contractperiode. Een verdere invulling van de aanbieding is afhankelijk van de contractvorm. Eveneens geven de diverse consortia aan op welke wijze zij hun financiering hebben georganiseerd om het contract aan te gaan. Dit laatste staat bekend onder de Engelstalige term Financial close garantie. Gunning: Aan de hand van de ingeleverde inschrijvingen en de van te voren vastgelegde criteria, kiest de opdrachtgevende partij wie het werk wordt gegund. Het kan voorkomen dat de financial close garantie pas na de ondertekening van het contract wordt afgerond. Bij het project dat onder regie van Defensie is uitgevoerd, was dat het geval. Na de gunning volgen er afrondende gesprekken tussen opdrachtgever en opdrachtnemer over de precieze contractuele voorwaarden. Daarbij speelt de BOM, Betalingsmechanisme, Outputspecificatie en Monitoring, een belangrijke rol. De BOM dient om vooraf vast te leggen hoe betalingen tijdens de gehele duur van het contract zullen lopen. Dit betreffen betalingen tijdens de bouw maar eveneens tijdens de exploitatie. Voor de diverse fasen wordt vastgelegd aan welke eisen moet worden voldaan en op welke wijze men beoordeelt hoe de controle op dergelijke kwaliteitseisen verloopt. Deze afspraken kunnen in een aparte leveringsovereenkomst worden vastgelegd of onderdeel uitmaken van het contract. 21

29 2.3.5 Kenniscentrum PPS Om de opgedane kennis en ervaring met PPS-projecten te borgen, is in 1999 door het Ministerie van Financiën een kenniscentrum opgericht. Dit kenniscentrum is in 2006 voortgezet als zelfstandig kenniscentrum. Op de website van het centrum 4 staan meerdere voortgangsrapportages met aanbevelingen voor toekomstige PPS en. Een voorbeeld hiervan is de voortgangsrapportage 2001 die meldt dat vertragingen vaak meerdere oorzaken hebben. Vertragingen vinden plaats door traag verlopende tenderprocessen en het opstellen van contracten. De oorzaken van dergelijke vertragingen zijn: a) publieke partijen hebben verschillende opvattingen over individuele projecten ; b) de publieke sector heeft moeite met het formuleren van duidelijk en functioneel gespecificeerde kwaliteitseisen ; c) projectsubsidies verstoren de beloningsstructuur voor de private sector ; d) private partijen worden uitgesloten bij beslissende fasen van het proces.de voortgangsrapportage van 2002 stelt dat er een trage voortgang van concessie en contractvorm van PPS is ; veel PPS-projecten te klein van omvang zijn waardoor transactiekosten voor publiek- en private partijen bij het opstellen van innovatieve contracten, te hoog in prijs uitkomen. De voortgangsrapportage van 2004 vermeldt: De toepassing van PPS is te incidenteel en er zijn onvoldoende realistische verwachtingen van PPS. Ondanks deze negatief getinte uitspraken neemt het aantal PPS-contracten door de jaren heen gestaag toe. Als voorbeeld hiervan toont Bijlage A een opgave van gerealiseerde en toekomstige projecten, uitgevoerd of nog uit te voeren, onder een PPS-overeenkomst Modellering Om het aanbestedingsproces te kunnen simuleren, is het proces vereenvoudigd en in een diagram weergegeven. Het diagram is gemodelleerd met Figuur 8 als uitgangspunt en toont de activiteiten en verantwoordelijke groepen en personen. De vorm van de activiteit heeft te maken met het soort activiteit. De omvang van de getoonde figuren heeft te maken met de lengte van de tekst. Kleuren zijn gebruikt om de activiteiten te kunnen groeperen. De verbindingslijnen tussen de diverse functies, stelt de hiërarchie van de organisatie voor. De volgende activiteiten zijn vermeld: start- en eindpunt; beslispunten, activiteiten; verantwoordelijke groepen en personen en bijeenkomsten. In het model hebben de verschillende activiteiten en personen onderscheidende vormen. Het starten eindpunt (incl. beslispunt) zijn rechthoekig van vorm voorzien van een punt; de activiteiten zijn rechthoekig van vorm, de functies zijn afgebeeld als een figuurtje en de bijeenkomsten hebben een ruit als vorm januari

30 Figuur 9: Gemodelleerd diagram Aanbestedingsproces PPS Figuur 9 is een weergave van het model zoals gemodelleerd in het Stanfordmodel. Het diagram toont een start- en eindpunt, de blauw gekleurde figuren uiterst links en uiterst rechts, en een beslismoment (licht blauwe ruit) halverwege. De gekleurde figuurtjes met bijbehorende lijnen tonen de hiërarchie van de organisatie met bijbehorende functies. De paarsgekleurde ruiten aan de rechterzijde stellen de diverse bijeenkomsten voor. De rode en gele rechthoeken geven de diverse samengevoegde activiteiten per fase van het aanbestedingsproces weer. 23

31 Directeur Generaal Directieteam Directie Vastgoed Directie Beheer Directie Architectuur & Advies Directie Staf Gebruiker (ext. opdrachtgvr.) Steeringteam Senior Procesmanager Projectteam Plv. Procesmanager Expertteam Juridisch Expertteam Financieel Expertteam Technisch/Diensten Beslismoment Go- No go Beoordeling Aanmelding Selectie reductie Start Vooraankondiging Aankondiging gegadigden partijen Dialoog I partijen Dialoog II Inschrijving Gunning Finish Juridisch 1 Juridisch 2 Juridisch 3 Juridisch 4 Juridisch 5 Juridisch 6 Juridisch 7 Juridisch 8 Juridisch 9 Financieel 1 Financieel 2 Financieel 3 Financieel 4 Financieel 5 Financieel 6 Financieel 7 Financieel 8 Financieel 9 Technisch 1 Technisch 2 Technisch 3 Technisch 4 Technisch 5 Technisch 6 Technisch 7 Technisch 8 Technisch 9 Figuur 10: Gemodelleerd relatie/beslisdiagram Aanbestedingsproces PPS Figuur 10 is uitgebreide weergave van Figuur 9. In het model zijn relatielijnen, toegewezen verantwoordelijkheden en aanwezigheid bij besprekingen aangegeven. Elke activiteit heeft een verantwoordelijke persoon of groep toegewezen. Deze toewijzing is weergegeven door een ononderbroken blauwe lijn die loopt vanuit de diverse figuren naar de 24

32 activiteiten. Naast de relatielijnen tussen de functies en activiteiten, zijn er eveneens verbindingslijnen getrokken tussen de meerdere functies en de diverse besprekingen. Reden hiervan is dat de diverse besprekingen met een verschillend tijdsperiode worden georganiseerd, het onderwerp van bespreking niet gelijk is en de functies van de aanwezigen per bijeenkomst verschillen. De rode lijnen die tussen de activiteiten lopen, geven meerwerk aan. Dit extra werk wordt veroorzaakt door het bijstellen van de vereiste zaken van de betreffende aanbestedingsfase. Daarnaast zijn er groengekleurde communicatielijnen tussen de diverse ondersteunende diensten (juridisch; financieel en technisch). Deze drie disciplines zijn tijdens het gehele proces continue met elkaar in overleg om elkaars werk op elkaar af te stemmen. Bij het modelleren van het diagram krijgen het project, de diverse functies en de bijbehorende activiteiten een aantal organisatie- en gedragskarakteristieken toegewezen. Deze karakteristieken zijn in te stellen waarden die door het ontwerpteam van Stanford (Kunz e.a., 1998) uit etnografisch onderzoek zijn vastgesteld (Bijlage D) Onderscheidend vermogen Docking-studie Om na te gaan of er naast het Stanfordmodel nog andere simulatiemodellen zijn die in staat zijn organisatorische risico s te kwantificeren, is naar gelijksoortige modellen gezocht. Louie e.a. (2003) hebben onderzoek gedaan door met behulp van een docking-studie de betrouwbaarheid van twee agent-based modellen: ORGAHEAD en SimVision (SimVision is de marktnaam van het Stanfordmodel) vast te stellen. Een docking-studie is een verschilstudie van twee of meer gelijksoortige entiteiten en heeft een praktisch karakter. Met een docking-studie zijn drie onderwerpen onderzocht: 1) de juistheid van de uitgangspunten van de simulatiemodellen; 2) de overeenkomsten en verschillen tussen de simulatiemodellen en 3) de mate van onderlinge versterking van de twee modellen. Het model ORGAHEAD kijkt in welke mate een organisatie zich kan aanpassen. SimVision heeft als concept dat informatie-uitwisseling de basis is voor een organisatievorm. Uitkomsten van de docking-studie tonen aan dat ORGAHEAD meerdere personen aan een activiteit kan toekennen. Dit in tegenstelling tot SimVision waar slechts één persoon aan een activiteit kan worden toegekend. Het effect van dit verschil is drieledig. In ORGAHEAD is niet duidelijk 1) op welk tijdstip een activiteit moet worden uitgevoerd, 2) op welk moment het complete traject gereed is en 3) wat de invloed is op het kritieke pad (activiteiten die met elkaar de langste doorlooptijd van het totaal aan activiteiten vormen) Planningsoftware In vergelijking met planningsoftware, zoals Microsoft Project, Primavera of Artemis, beperken de laatsten zich tot techniek maar legt het Stanfordmodel een verbinding tussen techniek en gedrag. 25

33 Onder techniek verstaat men onder andere de kritieke pad methodiek. De ontwikkelaars op Stanford kwamen bij hun onderzoek veel verborgen werk tegen wat zij onder de component gedrag hebben gedefinieerd. Hieronder verstaan zij werk dat niet direct wordt, of kan worden gekwantificeerd. Dit verborgen werk is door hen met een twintigtal parameters uit organisatie- en gedragskarakteristieken gekwantificeerd door meerwerk. Vooral met de toevoeging van deze parameters onderscheid het Stanfordmodel zich van planningsoftware Parameters Stanfordmodel Algemeen De parameters van het Stanfordmodel zijn onderdeel van het gedragsbestand (behaviour file). Dit gedragsbestand heeft invloed op de doorlooptijd van een activiteit. De instellingen van dit bestand wordt eenduidig gehouden waarbij de ontwikkelaars van het model adviseren om de instelling van dit bestand niet te veranderen. De parameters kunnen in meerdere groepen worden ingedeeld: a) Organisatie- of cultuurparameters: deze parameters worden bepaald door de werkwijze en/of gewoonten van een bedrijf; b) Gedragsparameters: deze parameters worden bepaald door het gedrag en/of handelingen van een groep medewerkers; c) Projectparameters: deze parameters worden bepaald door de specifieke omstandigheden van het te simuleren project. De diverse parameters zijn hieronder vermeld en toegelicht Organisatie- of cultuurparameters Centralisatie van besluitvorming: Wanneer medewerkers zelf beslissingen kunnen nemen, is er weinig reden om informatie uit te wisselen. Die werkwijze bespaart tijd maar de kwaliteit van de genomen beslissingen neemt af. Eén van de karakteristieken van een betere kwaliteit is dat werk, of gedeelten daarvan, minder vaak moet worden overgedaan. Formalisatie: In hoeverre zijn handelingen vastgelegd in procedures en standaarden. Bij beperkte omvang van bureaucratie zijn weinig vergaderingen vereist door de informele wijze van informatie uitwisseling. Project Matrix: In welke mate wordt er door medewerkers effectief informatie uitgewisseld? Kans op onvolledige informatie-uitwisseling; dit kan opleveren dat werk helemaal niet wordt uitgevoerd omdat niet bekend is dat het moet worden uitgevoerd Kans op vervuilde informatie uitwisseling; dit kan opleveren dat werk geheel of gedeeltelijk moet worden overgedaan Informatie-uitwisseling: een parameter die de kans op afwijkingen in de uitvoering aangeeft. Deze afwijkingen kunnen ontstaan door een gebrek aan informatie uitwisseling, onnodige bijeenkomsten, verstoringen tijdens kantoorwerkzaamheden en werk dat opnieuw moet worden gedaan omdat andere activiteiten niet goed zijn uitgevoerd. 26

34 Algemene parameters (waaronder gedrag- en projectparameters) Hoofdtaak: Toewijzing van een activiteit met bijbehorende beslisbevoegdheid. Betrokkenheid en/of toewijzing van een secundaire taak binnen het project, kan afbreuk doen aan de voortgang van deze taak met de hoofdtaak. Beroepservaring: Parameterwaarde die een indicatie geeft hoeveel professionele ervaring iemand heeft. Teamervaring: Parameter geeft een indicatie over de mate van ervaring van een projectteam met dergelijk werk Onzekerheid: Informatiebeschikbaarheid op het moment van uitvoering. Een onzekerheidsfactor is van toepassing wanneer de meeste informatie nog niet beschikbaar is op het moment van uitvoering Vakkennis: Parameter geeft een indicatie over de vakkennis van medewerkers aan een project Parallelle activiteiten: Parameterwaarde die de moeilijkheidsgraad aangeeft die optreedt wanneer een groot aantal werkzaamheden gelijktijdig worden uitgevoerd. Omgaan met complexiteit: Een tot in detail uitgewerkt ontwerp vereist een grote hoeveelheid informatie. Hoe ingewikkelder de vereiste oplossing, hoe groter de kans op fouten. Deze fouten hebben indirect invloed op de projectdoorlooptijd De invloed van een activiteit: Parameterwaarde die de invloed of het belang van een activiteit ten opzichte van een andere activiteit en het eindresultaat van het project, aangeeft. Uitvoeringsfout: Parameterwaarde die de kans aangeeft dat een activiteit opnieuw moet worden uitgevoerd omdat er een fout is gemaakt bij de uitvoering van die activiteit. Verstoring: Parameterwaarde die de toename van de doorlooptijd van een activiteit aangeeft. Deze toename wordt mede veroorzaakt door een verscheidenheid aan afleidingen tijdens het uitvoeren van de betreffende activiteit. Routinematige werkzaamheden: Parameterwaarde die de kans aangeeft dat één of meerdere activiteit(en) opnieuw moet(en) worden uitgevoerd omdat een andere, belangrijke activiteit niet goed is uitgevoerd. Teamsamenstelling: Parameterwaarde die de verdeling van de functionele positie binnen een projectteam weergeeft. De functionele positie is van belang in verband met mogelijk te nemen beslissingen. Informatie-uitwisseling: Parameterwaarde die een indicatie geeft over de mate van overleg binnen het projectteam. 27

35 Twee parameters nader toegelicht Delegeren van beslisbevoegdheid Figuur 11: Oorzaak/gevolg diagram: Delegeren van beslisbevoegdheden. Bron: Thomsen e.a.,1999. Wanneer een organisatie er voor kiest de beslisbevoegdheid op een laag niveau in de organisatie te leggen [Figuur 11], zal deze keuze een negatief effect hebben op een hiërarchisch gekozen machtsverdeling. Hetzelfde is van toepassing wanneer de prioriteitstelling van te nemen te beslissingen laag in de organisatie kan worden gemaakt. De omgang met afwijkende zaken kan bij acceptatie of bijstelling van beslissingen, zowel positieve als negatieve effecten hebben op de 28

36 projectduur en/of projectkosten. Door afwijkende zaken te negeren, zal de invloed op de projectduur en/of projectkosten, nihil zijn. Omgaan met afwijkende zaken Figuur 12: Oorzaak/gevolg diagram: hoe om te gaan met afwijkende zaken. Bron: Thomsen e.a.,1999. Wanneer er competentieverschillen zijn tussen de verantwoordelijke uitvoerder en de leidinggevende [Figuur 12], kan dit bij niet gangbare beslissingen voor het geheel van de bedrijfsvoering, negatieve gevolgen hebben. Eveneens zullen bij dergelijke afwijkende problemen, mogelijke beslissingen eerder absoluut zijn (linksom of rechtsom) waarmee de flexibiliteit om een toegesneden beslissing te maken, verdwijnt. Als laatste stellen Thomsen e.a. (1999) dat bij de 29

37 prioriteitstelling van de te nemen beslissingen (bij het omgaan met afwijkende zaken), deze positief worden beïnvloed. Een beslissing genomen bij een afwijkende zaak kan de acceptatie van het besluit zowel positief als negatief beïnvloeden. Ditzelfde geldt om die reden ook voor de projectduur en de projectkosten. Het negeren van afwijkende problemen zien de auteurs als een neutrale zaak die de projectduur en de projectkosten niet zullen beïnvloeden. Dit is een discutabel standpunt van Thomsen e.a. (1999) omdat een afwijkend probleem een oplossing kan vereisen en negeren van het probleem de bedrijfsvoering kan beïnvloeden Statistieken Het simulatiemodel van Stanford rekent diverse statistische waarden uit met gedefinieerde activiteiten, aanwezige relaties, bij te wonen besprekingen en toegewezen karakteristieken (lees: parameters). Hiervoor gebruikt het model een Monte Carlo simulatie die een groot aantal keren met verschillende startwaarden een dataset doorrekent (Blumberg, e.a., 2005, blz. 41). Hieronder volgen diverse uitdraaien van de statistisch bepaalde waarden Program Work breakdown Figuur 13: Program Breakdown Aanbestedingsproces PPS Figuur 13 toont de doorlooptijd van het Aanbestedingsproces PPS in een histogram. De verticale as toont het Aanbestedingsproces PPS als activiteit. Op de horizontale as wordt het werkvolume 30

38 in uren per dag aangegeven. Eveneens wordt met een kleur de verlenging van de doorlooptijd op de balken aangegeven. De onderste balk geeft de geplande doorlooptijd aan, het licht groen geruite deel. Aan de rechterkant is een klein rood geruit vlakje zichtbaar. Dit vlakje staat voor de tijd die nodig is om geplande werkzaamheden op elkaar af te stemmen. Het groengekleurde deel van de bovenste balk geeft de doorlooptijd die door het Stanfordmodel is uitgerekend na invoeren van alle parameterwaarden. Het geelgekleurde vlak geeft de verlenging van de doorlooptijd aan die wordt veroorzaakt door Rework. Rework treedt op wanneer blijkt dat één of meerdere voorgaande activiteiten niet correct of volledig zijn uitgevoerd. In dat geval moet(en) één of meerdere activiteiten helemaal opnieuw of gedeeltelijk worden uitgevoerd. Twee andere redenen van doorlooptijdverlenging zijn hier Coördinatierisico (oranje vlakje) en Besluittijd (rode vlakje). Coördinatierisico is samengesteld uit communicatierisico en overlegrisico. Met het eerste wordt bedoeld: een foutieve uitvoering van een activiteit door onvolledige informatieverwerking. In formulevorm geeft dit: communicatie risico = genegeerde of gemiste informatie-uitwisseling / gewenste informatie-uitwisseling. Met het tweede wordt bedoeld: aantal gemiste bijeenkomsten/ totaal aantal bijeenkomsten. Dit verschijnsel treedt op wanneer er veel overleg nodig is bij de uitvoering van de activiteiten. Overleg kost tijd waardoor leidinggevenden minder aandacht kunnen besteden aan andere managementtaken. De term Besluittijd of Decision Wait is door het ontwikkelteam van Stanford gedefinieerd als de onzekerheid wanneer er een besluit wordt genomen en of het genomen besluit juist is. 31

39 Program Summary Statistics Figuur 14 toont diverse probabilistische waarden, uitgerekend door het simulatiemodel. Figuur 14: Program Summary statistics De getoonde waarden in Figuur 14 zijn: 1) berekende doorlooptijd in dagen, van alle activiteiten met bijbehorende standaarddeviatie; 2) vier budgetparameters die hier niet zijn toegelicht; 3) Process Quality Risk, deze parameter wordt gevormd door de som van genegeerde uitzonderingen en halfslachtige oplossingen gedeeld door het totaal aantal uitzonderingen. De hierbij gehanteerde formule is: genegeerde uitzonderingen + (0,5* halfslachtige oplossingen)/ totaal aantal uitzonderingen; 4) Product Quality Risk, deze parameter geeft het gemiddelde van twee andere parameters: FRI en PRI. Deze parameters staan voor: - PRI: Project Risk Index, een parameter voor de mate van systeemintegratie. De PRIparameter geeft het risico op kwaliteitsvermindering op het geheel van activiteiten door een foutieve handeling binnen een enkele activiteit. - FRI: Functional Risk Index, een parameter die het risico op kwaliteitsvermindering weergeeft door een gebrekkige uitvoering van een activiteit. Dit heeft tot gevolg dat deze activiteit geheel of gedeeltelijk opnieuw moet worden uitgevoerd. De parameters Communications Risk (vertaald: risico bij informatie-uitwisseling) en Meeting Risk (vertaald: risico s van overleg) zijn in paragraaf toegelicht. Van alle parameters is de standaarddeviatie gegeven: in getalswaarde, vermeld achter de waarde van de betreffende 32

40 parameter, en grafisch, als horizontale lijn in het horizontale balkdiagram warbij de lengte van de lijn de maat is voor de grootte van de standaarddeviatie Project Statistics Tabel i geeft in tabelvorm een grote hoeveelheid data die betrekking hebben op het project. Tabel i: Project statistics De opvolgende onderwerpen uit Tabel i zijn: Project name: naam van het project Description: de omschrijving van het project User WBS: toegepaste Work Breakdown Structure. Dit is de volgorde van werken Simulated Duration (days): door het model berekende totale doorlooptijd in dagen CPM Duration (days): Critical Path Methodology. Kritieke pad methode, dit is een reeks van activiteiten gemeten in dagen die de einddatum beïnvloeden Simulated start- and finish date: begin- en einddatum van een project Total Volume (days): De som van alle activiteiten over het aantal geplande dagen per activiteit * aantal toegewezen personen aan de activiteit * percentage tijd dat de toegewezen personen aan de activiteit kunnen besteden Work Volume (days): het aantal geplande aantal dagen per activiteit * aantal toegewezen personen aan de activiteit * percentage tijd dat de toegewezen personen aan de activiteit kunnen besteden 33

41 Rework Volume (days): Berekende aantal dagen dat een activiteit nodig heeft om na beëindiging van de activiteit, fouten aan die activiteit te herstellen Coordination Volume (days): De som van de berekende aantal dagen van alle activiteiten, benodigd om alle activiteiten waar nodig op elkaar af te stemmen Descision wait volume (days): De som van alle activiteiten over: het berekende aantal dagen dat een activiteit geen voortgang boekt doordat op een beslissing moet worden gewacht. Fixed Cost (k): vaste kosten Non Labor Cost (k): niet-arbeidskosten Fixed Revenue (k): vaste inkomsten Total Revenue (k): totale inkomsten FRI: Functional Risk Index [ ] PRI: Project Risk Index [ ] Coordination Risk [ ] Communications Risk: [ ] Meeting Risk: [2.3.8] Number of Persons: aantal medewerkers Percent Staffing: percentage stafmedewerkers Projects: projecten Case: geval {Verschilwaarde tussen de waarden uit figuur 14 en die uit tabel i treden op door print screens te plaatsen uit opvolgende simulaties.} 34

42 Backlog Backlog staat voor achterstallig werk door de hoeveelheid aangeboden werk dat niet door een persoon of een groep van personen binnen een bepaalde tijd kan worden uitgevoerd. De waarde -1- in Grafiek I: Program Person Backlog, staat voor een werkdag van 8 uur. Grafiek I: Program Person Backlog In Grafiek I is de horizontale as de tijdas en op de verticale as wordt de werkhoeveelheid in achturige werkdagen aangegeven. Alles met een hogere waarde dan -1- betreft werkachterstand. In de legenda zijn de drie personen met de grootste werkachterstand aangegeven. In het voorbeeld betreft het de Projectleider Juridisch, Projectleider Financieel en Projectleider Techniek waar de grafiek rond augustus 2005 een enorme piekbelasting (ca. 7 dagen van 8 uur) aan achterstallig werk toont Ganntdiagram Figuur 15 toont een Ganntdiagram (Gannt, 1910) als scherm van het Stanfordmodel. Een Ganntdiagram is een balkendiagram waarin de opvolging van de diverse activiteiten in de tijd wordt bepaald door de relaties tussen de activiteiten waarbij elke activiteit is voorzien van een unieke 35

43 doorlooptijd. Aan de linkerzijde worden de activiteiten vermeld met hun omschrijving. De rechterzijde bevat een tijdsbalk voorzien van een jaartal, maandaanduiding en eventueel een week- en dagaanduiding. Figuur 15: Ganntdiagram Figuur 15 toont de diverse activiteiten in kleur waarbij de getoonde doorlooptijd representatief is voor het aanbestedingstraject van het PPS project Ministerie van Financiën. Aan de linkerzijde worden de diverse activiteiten vermeld. De rechterzijde van het diagram toont aan de bovenzijde een kalender met daaronder twee rijen met verticale blauw gekleurde streepjes. Deze twee rijen zijn de weergaven van vereiste aanwezigheid bij vergaderingen (zie ook Figuur 9): Gemodelleerd diagram Aanbestedingsproces PPS). Het projectteam vergadert wekelijks gedurende het gehele aanbestedingstraject. Daarnaast zijn er periodieke vergaderingen waar ook leden van het directieteam bij aanwezig zijn. De zwarte diamanten zijn de weergave van de gesimuleerde beginen eindpunten. De rode en blauwe balken staan voor opvolgende activiteiten met elk hun specifieke doorlooptijd. De rode kleur geeft de activiteiten aan die op het kritieke pad liggen. De groene ruiten geven de uitgangsposities, begin- en eindpunt van de planning, weer. 36

44 3 Empirisch onderzoek 3.1 Inleiding In hoofdstuk 3 wordt het empirisch onderzoek toegelicht. Paragraaf 3.2 beschrijft de wijze van dataverzameling gevolgd door de transformatie methodiek van verzamelde data naar parameterwaarde (in paragraaf 3.3). In paragraaf 3.4 wordt de face-validiteit met randvoorwaarden vermeld evenals een omschrijving van de toegepaste robuustheidtest met bijbehorende gevoeligheidsanalyse (paragraaf 3.5). In paragraaf 3.6 is een toelichting op een retrospectieve onderzoeksmethode gegeven met vermelding van de onderzoeksgroepen. Paragraaf 3.7 geeft een omschrijving op welke wijze de verzamelde data is verwerkt gevolgd door de data-analyse van de vier deelprojecten. 3.2 Dataverzameling Respondenten Om de juiste waarden voor de parameters van het model te bepalen, heeft een aantal projectmedewerkers een vragenlijst beantwoord. De desbetreffende projectmedewerkers waren allemaal betrokken bij het aanbestedingsproces van één van de vier PPS-projecten en hadden daar sleutelposities. Voorbeelden van de sleutelposities zijn: projectdirecteur, procesmanager, teamleider Juridisch, teamleider Financieel en teamleider Technisch. De vragenlijst bestond uit een on-line lijst met 20 stellingen, opgesteld met de handleiding van het simulatiemodel. Deze handleiding vermeldt alle parameters met hun rangewaarde Range voting Bij het beantwoorden van de vragenlijst is Range voting is toegepast. Range voting is afgeleid van een Likertschaal door een interval schaal om te transformeren naar een ratio schaal. Beantwoorden van de stellingen vindt plaats met behulp van schuifje op het scherm waarmee een keuze kan worden gemaakt uit een aantal waarden. De gekozen rangwaarde is gekoppeld aan een numerieke schaalwaarde. Deze wijze van vraagstelling staat bekend als Magnitude Estimation (Lodge, 1981). Met behulp van een grootschalig onderzoek (Saris, 1988), waarbij de respondenten werd gevraagd hun keuze van een Likertwaarde te doen aan de hand van de uiterste waarde, zijn de diverse posities van de waarden vastgelegd. Het bijzondere aan de uitkomsten van het onderzoek van Saris is dat de diverse schaalwaarden niet symmetrisch over de schaal zijn verdeeld. Een voorbeeld van een dergelijke werkwijze is de stelling Ik ben tevreden over mijn projecten. Bij deze stelling is er een keuze uit zeven waarden: Nooit, zelden, soms, vaak, zeer vaak, zeer zeer vaak en voortdurend. 37

45 Figuur 16: Voorbeeld Range voting, met schaal van 0 tot 100. In Figuur 16 is een ratioschaal met een zevental waarden, asymmetrisch verdeeld. Niet de gekozen bewoording is maatgevend maar de numerieke waarde die in het omcirkelde vakje wordt getoond. Op de stelling Ik ben tevreden over mijn projecten valt de keuze op de schaal tussen de waarden -Soms- en -Vaak-. De bijbehorende numerieke waarde is 45. Met een dergelijke waarde wordt een mediaanwaarde genomen die dient om de uiteindelijke parameterwaarde te berekenen. Voordelen van het gebruik van Range voting zijn: 1) Snelle verwerking; door de toepassing van een numerieke schaal zijn statistische bewerkingen snel uit te voeren; 2) Toetsing van eigen antwoorden. Uit een pilot, uitgevoerd in oktober 2009, bleek dat de respondenten als eerste hun keuze maakten aan de hand van de bewoording. Hierna toetsten de respondenten hun eigen antwoord met de bijbehorende numerieke waarde en pasten zo nodig hun antwoord aan; 3) Snelle invultijd; De reacties op het gebruiksgemak van range voting waren zeer positief door de eenvoudige en benodigde invultijd (< 10 min.). Volgens Keller (2006) nemen met deze uitgangspunten de verwachtingen van een hoog antwoordpercentage toe. 3.3 Robuuste statistiek Bij de omzetting van verzamelde data naar parameterwaarden, zijn meerdere rekenmethodes toegepast. Hiervoor zijn de uitkomsten van de on-line stelling getransformeerd naar de juiste parameterwaarden. Veertig procent van de antwoorden is lineair getransformeerd naar een intervalwaarde. Een voorbeeld van een intervalwaarde is een parameterrange die ligt tussen 0,05 en 0,1. Een voorbeeld van een transformatie is een mediaanwaarde van Transformatie van deze mediaanwaarde verloopt volgens de volgende berekening: 0,05+(0,1-0,05)*0,58=0,079. Zestig procent van de antwoorden is omgerekend op een nominale schaal. De categorieën van deze schaal zijn: Laag, Gemiddeld en Hoog. In het onderzoek is hiervoor een verdeling gekozen. De verdeling loopt van 0% tot 33%: lage parameterwaarde; van 33% tot 67%: gemiddelde parameterwaarde en van 67% tot 100%: hoge parameterwaarde. Een voorbeeld van een dergelijke transformatie is een mediaanwaarde van 0,32= 32%, waarbij de transformatie van de 38

46 mediaanwaarde verloopt volgens een nominale schaal. De nominale waarde van de mediaan ligt in de range van 0% tot 33% waarmee de parameterwaarde uitkomt op de instelling -Laag Face validiteit Met face validiteit (Banks en Carson, 1984, blz. 385) is naar de vragenlijst gekeken. Face validiteit houdt in dat de eerste aanblik van de uitkomsten, aannemelijk en redelijk moeten zijn. Sargent (1992) geeft aan dat de herkenbaarheid of eerste indruk van de vragen, in dit geval stellingen, een maat is voor een bereidheid om de betreffende stellinglijst in te vullen. Het percentage nonresponse is als maat voor face validiteit gekozen. Als criterium voor non-response is 60% gekozen. 3.5 Betrouwbaarheidstest Door de kleine responsgroep is geen gebruik gemaakt van factoranalyse. Factoranalyse kan worden toegepast bij een populatie boven de 120 respondenten en worden gebruikt om datareductie en dimensieonderzoek uit te voeren. Om dit wel mogelijk te maken is een analyse uitgevoerd met een robuuste variatie. Hiervoor is de mediaanwaarde gebruikt. De vorm van datareductie en de toepasbaarheid om vragen te middelen, is getest met een Cronbach s Alpha analyse. Als criterium voor de sommatie en middeling van de mediaanwaarden van twee stellingen om hiermee de juiste nominale of ordinale waarde te krijgen, mogen de Cronbach s Alpha waarden niet tegengesteld zijn. Wanneer dit wel het geval is, wordt de mediaanwaarde van die stelling met de hoogste waarde genomen. De criteriumwaarde voor de betrouwbaarheid van de antwoorden op de stellingen is op een Cronbach Alpha waarde > 0,7 gesteld. 3.6 Gevoeligheidsanalyse Met een gevoeligheidsanalyse (Morgan, 2000) is onderzocht of het Stanfordmodel robuust is en welke invloed de invoer van afwijkende parameterwaarden versus werkelijke parameterwaarden heeft op de simulatie-uitkomsten. Voor de beoordeling van de resultaten is uitsluitend de doorlooptijd genomen omdat deze waarde zich goed laat vergelijken. Met het verschil in einddatum is bepaald welk percentage van de waarden foutpositief of foutnegatief zijn. Deze twee termen houden in dat er getoetst is of de simulatie-uitkomsten overeenstemmen met de actuele waarden. Deze test is uitgevoerd met aangepaste categoriegrenzen. De aangepaste grenzen zijn: a) gekozen schaalwaarde tot 45%: lage parameterwaarde; b) gekozen schaalwaarde 45% tot 55%: gemiddelde parameterwaarde en c) gekozen schaalwaarde 55% tot 100%: hoge parameterwaarde. Voor de intervalwaarde is gekozen voor een extreme waarde. Stel een intervalwaarde van een parameterrange die ligt tussen 0,05 en 0,1 en een mediaanwaarde van Transformatie van deze mediaanwaarde naar een extreme waarde verloopt als volgt: Mediaanwaarde > 50% dit geeft de berekening: 0,05+(0,1-0,05)*1=0,1. Een mediaanwaarde van < 50% geeft de berekening: : 0,05+(0,1-0,05)*0=0,05. Als criterium voor de robuustheid van het Stanfordmodel is een afwijking van de doorlooptijd > 15%, standaard datatransformatie versus 39

47 extreme datatransformatie, genomen. Voor de analyse zijn voor alle parameterwaarden de extremen genomen. De waarden van vier parameters zijn gebruikt om hun invloed op de robuustheid van het Stanfordmodel te testen. Het betreft de parameterwaarden die van toepassing zijn op het hele project en niet specifiek zijn verbonden aan een activiteit of toegewezen groep of medewerker. De betreffende parameterwaarden zijn: Information exchange probabiltity, Noise probability, Functional error probability en Project error probability.voor toelichting op deze vier parameters [2.3.8]. 3.7 Retrospectieve meting Toetsing van het model vindt plaats door de uitkomsten van het model te vergelijken met de actuele situatie. Deze toetswijze staat bekend onder Retrospectieve meting (Blumberg, 2007, blz. 443). Meerdere identieke besluitprocessen, elk uitgevoerd binnen een projectomgeving als onderdeel van een PPS (Bult-Spiering e.a., 2005), worden gesimuleerd met behulp van het model. Het model is gemodelleerd aan de hand van een standaard procesvoering en voorzien van organisatie- en projectspecifieke parameterwaarden (zie 2.3.8). De parameterwaarden zijn per project getransformeerd uit de verzamelde data. Met een standaard procesvoering wordt hier bedoeld, de gebruikelijke aanpak bij dergelijke activiteiten (zie 2.3.4). Eveneens is bij de samenstelling van de modellering, informatie gebruikt van de diverse projectteams. De juistheid van het model is beoordeeld door een procesmanager van de organisatie. Als vergelijk zijn actuele waarden van de desbetreffende projecten gebruikt. Voor de datums van deze actuele waarden is het tijdstip van contractondertekening van het desbetreffende PPS project genomen. 3.8 What-if scenario Bij het aanbestedingstraject van project Kromhout Kazerne is door een onvoldoend bekende parttime ondersteuning, een retrospectieve meting niet mogelijk. Thomsen e.a. (1999), benoemen een viertal sub-items die de reden, representatie en toepassing van de simulatie kunnen toetsen. Een van deze vier sub-items is een toetsing met een what-if scenario, waarbij aan de hand van de actuele einddatum van het aanbestedingsproces, de belangrijkste karakteristieken van de organisatie worden benoemd. 3.9 Vier deelprojecten Toelichting Dit onderzoek richt zich op vier projecten. Deze projecten zijn: 1) renovatie gebouw Ministerie van Financiën in Den Haag, opdrachtgever Ministerie van Financiën 2) bouw nieuw kantoor in Doetinchem, opdrachtgever Ministerie van Financiën; 3) bouw nieuw kantoorcomplex in Groningen, opdrachtgever Ministerie van OCW en Ministerie van Financiën, en 4) bouw nieuw kantoorcomplex, opdrachtgever Ministerie van Defensie. De vier projecten zijn bouwprojecten waarbij één gebouw is gerenoveerd en opgeleverd en er bij drie projecten nog gebouwd wordt. Alle 40

48 projecten betreffen publiek private samenwerkingsverbanden. Bij één project, renovatie en nieuwbouw Kromhout Kazerne, is het Ministerie van Defensie de opdrachtgever. Bij de drie andere projecten is de Rijksgebouwendienst de gedelegeerde opdrachtgevende partij. De gehanteerde opdrachtgeverconstructie is die van gedelegeerd opdrachtgeverschap (Wijnen en Storm, 2007, blz. 92) waarbij andere ministeries de opdracht tot aanbesteding en realisatie van een project aan de RGD delegeren. Omdat het opdrachtgeverschap bij Defensie anders is georganiseerd, is er een verschil tussen de aanbestedingsprocessen onder de regie van de RGD en die van Defensie. Het ministerie van Defensie voert in eigen beheer een bouwproject uit waarbij er beperkt overleg noodzakelijk is met externe partijen. De Rijksgebouwendienst voert projecten uit als gedelegeerd opdrachtgever. Hierdoor is er op regelmatige basis overleg noodzakelijk met de opdrachtgevende partij. Dergelijke overleggen dragen veel aspecten van bestuurlijke besluitvorming Werkwijze datatransformatie Bij elke parameter wordt als eerste een toelichting gegeven, gevolgd door de bereikwaarden van de parameter. Deze bereikwaarden van de diverse parameterwaarden zijn vastgesteld door de ontwikkelaars van het Stanfordmodel. De ontwikkelaars van het model hebben deze parameters en bijbehorende waarden bepaald met etnografisch onderzoek, regressie analyses en jarenlange validatie (zie Bijlage D, mailwisseling prof R. Levitt Stanford University). Daarna volgen één of meerdere vragen al dan niet voorzien van een stelling of toelichting. Als laatste volgt de datatransformatie waarmee de parameterwaarden zijn vastgesteld. De bijlage met de vragenlijst is door de scriptiebegeleiders beoordeeld en is op te vragen bij de auteur. De invoergegevens voor het model zijn verzameld uit planningen en datatransformaties uit enquête-uitkomsten waarbij per project sleutelfiguren binnen het projectteam zijn gevraagd een on-line vragenlijst in te vullen. Met de uitkomsten [Bijlage F] van deze lijst zijn de juiste parameterwaarden voor het model vastgesteld. 41

49 3.10 Vier deelverzamelingen Renovatie Ministerie van Financiën Verzamelde data aanbestedingsproces Vraag no. Naming of parameter Mediaan waarden questionaire Parameter value Min v Fin 1 Primary assignment 32 2 Primary assignment 28 32,00 1,00 3 Uncertainty 15 LOW 4 Information exchange probability 10 5 Information exchange probability 21 21,00 0,35 6 Skills 81 HIGH 7 Project Matrix 57 MEAN 8 Centralization 93 HIGH 9 Formalization 72 HIGH 10 Solution Complexity 52 MEAN 11 Requirement Complexity Requirement Complexity 34 34,00 MEAN 13 Team Experience 91 HIGH 14 Priority 73 HIGH 15 Functional error probability 72 0,09 16 Noise probability 28 0,06 17 Project error probability 10 0,19 18 Postions role Postions role ,00 ST 20 Meetings units 39 WEEK Tabel ii: Verzamelde data en datatransformatie Min. van Fin. Tabel ii bestaat uit vijf kolommen. De eerste kolom vermeldt het stellingnummer. Dit nummer komt overeen met de nummering uit de on-line vragenlijst. In de tweede kolom staat de Engelstalige benaming van de parameter. Kolom drie geeft de mediaanwaarde die is berekend uit de verzamelde data voor de betreffende stelling en bijbehorende project. De vierde kolom geeft de gemiddelde waarde van twee bij elkaar horende vragen wanneer ze aan de eis van multicollineariteit voldoen. Wanneer dit niet het geval is, wordt de mediaanwaarde genomen die de meeste samenhang vertoont. De laatste kolom Parameter value (hier van het Min. v. Fin.) geeft de getransformeerde waarde van mediaanwaarde naar de bijbehorende parameterwaarde. Voor de vragen, 1 & 2, 4 & 5, 11 & 12 en 18 & 19, is de multicollineariteit vastgesteld. Multicollineariteit is een omstandigheid waarbij de statistische uitkomsten van twee of meer vragen, elkaar dempen. Om de aanwezigheid van deze omstandigheid aan te tonen, is een betrouwbaarheidsanalyse met Cronbach s Alpha waarde gebruikt. Als criterium voor het niet 42

50 optreden van multicollineariteit is een Cronbach Alpha waarde > 0.7 genomen. Daarnaast is een kruiscontrole gedaan met een Pearsoncorrelatie coëfficiënt door toepassing van een ratioschaal. De Pearsoncorrelatie coëfficiënt bepaalt of er een verband is tussen twee variabelen. Ook bij deze coëfficiënt geldt dat bij een waarde >0.7 er geen sprake is van multicollineariteit. Uitkomsten van de diverse analyses zijn dat er bij de vragen 1 en 2; 4 en 5; 11 en 12 sprake is van multicollineariteit. Om die reden zijn de waarden niet gemiddeld maar is de uitkomst met de hoogste waarde gehanteerd voor input van de betreffende parameterwaarde. Uit de analyse blijkt een multicollineariteit voor de vragen 1 & 2 en 4 & 5. De mate van correlatie voor de vragen 18 en 19 is zeer klein en wordt veroorzaakt door een vraag, stelling 19, die minder relevant is gebleken. Voor het vragenpaar 1 en 2 is de waarde van vraag 1 gekozen. Deze keuze is gebaseerd op de uitkomsten van de correlatie-analyse (Bijlage F). De mediaanwaarde van vraag 1 hebben meer samenhang met de rest van de data van vraag 2. Voor het vragenpaar 4 en 5 is de waarde van vraag 5 gekozen. Deze keuze is gebaseerd op de uitkomsten van de correlatie-analyse (Bijlage F). De mediaanwaarde van vraag 5 hebben meer samenhang met de rest van de data van vraag 4. Voor het vragenpaar 11 en 12 is de gemiddelde waarde van de som van de twee vragen gekozen. Deze keuze is gebaseerd op de uitkomsten van de correlatie-analyse (Bijlage F). De mediaanwaarden van de twee vragen hebben een correlatiewaarde > 0,7. Voor het vragenpaar 18 en 19 is er sprake van multicollineariteit met een Cronbach s Alpha waarde van 0,097 en een correlatiewaarde van 0,063. Er is gekozen om de waarde van vraag 18 te nemen. Deze keuze is gebaseerd op de constatering dat vraag 19 overbodig was. (Bijlage F). 43

51 mnths Geplande en gesimuleerde data aanbestedingsproces Planning Aanbestedingsproces Ministerie van Financiën. Opgave RGD, DEC09 Start FEB04 1 Vooraankondiging JUL Aankondiging AUG Aanmelding gegadigden OCT Selectie partijen NOV Dialoog I JAN Beoord.reductie partijen JUL tot Dialoog II OCT Inschrijving FEB Gunning MAR06 1 Totaal 20 Actual Finish: NOV06 Tabel iii: planning Aanbestedingsproces Ministerie van Financiën In Tabel iii worden de achtereenvolgende processtappen vermeld met bijbehorende startdatums en doorlooptijden in maanden Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie Figuur 17: Ganntdiagram aanbestedingsproces met berekende en gesimuleerde waarden Figuur 17 toont de gesimuleerde doorlooptijd, de rode balk, en de bijbehorende einddatum in de kolom Sim. Date (de zwarte ruit). Als vergelijk is de actuele datum in de kolom Planned Date (de groen gekleurde ruit) weergegeven. Het verschil tussen de actuele eindsituatie, 01NOV06 en de gesimuleerde eindsituatie, 17NOV06, is in dit figuur aangegeven en bedraagt 16 kalenderdagen. 44

52 Figuur 18: Program Work Breakdown Figuur 18 toont de doorlooptijd van het Aanbestedingsproces PPS in een histogram. De verticale as toont het Aanbestedingsproces PPS als activiteit. Op de horizontale as wordt het werkvolume in uren per dag aangegeven. Eveneens wordt met een kleur de verlenging van de doorlooptijd op de balken aangegeven. Voor verdere toelichting, zie tekst onder Figuur 13. Tabel iv: Project Statistics In Tabel iv worden vijftien kolommen getoond en is een horizontale weergave van Tabel i: Project statistics. Het belangrijkste gegeven uit de tabel is vermeld in de kolom Simulated Finish Date; hier 16-Nov

53 Tabel v: Aantal toegewezen personen Tabel v geeft een opgave van het aantal toegewezen personen (2 e kolom, Total FTE s) aan de betrokken staande organisatie en de projectorganisatie (1 e kolom, Organization). Daarnaast wordt in de 3 e kolom, Communication Risk [ ] en in de 4 e kolom, Meeting Risk [ ], vermeld. Deze twee waarden worden aan de hand van de ingestelde parameterwaarden door het Stanfordmodel uitgerekend. De projectorganisatie bestond uit 17 personen. Twee personen die het proces bewaakten en 15 personen die als specialist aan het project hebben meegewerkt (opg. RGD). Verschil in tijd tov geplande datum Geplande datum (opg. RGD) 01MAR06 - Actuele datum (opg. RGD) 01NOV06 8 mndn Gesimuleerde datum 16NOV06 8 mndn en 16 dagen (8 mndn+16dgn/30dgn nov.)/8mnd= Verschil in % tov geplande datum 6,8% Tabel vi: Tabel met verschilwaarden einddatum Tabel vi bestaat uit drie kolommen. In de eerste kolom wordt een verklarende tekst vermeld voor de tweede kolom. In de tweede kolom worden de verschillende datums vermeld waarmee in de derde kolom een verschilwaarde (in doorlooptijd en percentage) wordt berekend ten opzichte van de geplande datum. 46

54 Nieuwbouw Informatiseringsbank-Groep & Belastingdienst Groningen Verzamelde data aanbestedingsproces Vraag no. Naming of parameter Mediaan waarden questionaire Parameter value Groningen 1 Primary assignment 34 2 Primary assignment 33 34,00 0,85 3 Uncertainty 22 LOW 4 Information exchange probability 33 5 Information exchange probability 20 20,00 0,34 6 Skills 73 HIGH 7 Project Matrix 50 MEAN 8 Centralization 81 HIGH 9 Formalization 66 HIGH 10 Solution Complexity 53 MEAN 11 Requirement Complexity Requirement Complexity 62 45,50 MEAN 13 Team Experience 72 HIGH 14 Priority 74 HIGH 15 Functional error probability 50 0,08 16 Noise probability 57 0,12 17 Project error probability 22 0,17 18 Postions role Postions role 88 80,00 PM 20 Meetings units 54 WEEK Tabel vii: Verzamelde data en datatransformatie Belastingdienst & IB groep Groningen Voor analyse op multicollineariteit: zie opmerking [ ]. In het gele vlak van Tabel vii staan de ingevoerde waarden van de diverse parameters vermeld. Voor een toelichting van Tabel vii zie Tabel ii. 47

55 mnths Geplande en gesimuleerde data aanbestedingsproces RGD, DEC09 Groningen Start OCT05 1 Vooraankondiging MAR Aankondiging SEP Aanmelding gegadigden OCT Selectie partijen NOV Dialoog I tot MAR Beoord.reductie partijen APR Dialoog II tot AUG Inschrijving OCT Gunning JAN Actual Finish: MAR08 Tabel viii: plannning Aanbestedingsproces Belastingdienst en IB groep Groningen In Tabel viii worden de achtereenvolgende processtappen vermeld met bijbehorende startdatums en doorlooptijden in maanden. De start van het aanbestedingsproject Belastingdienst en IB groep Groningen was OCT05. De datum van contractondertekening was MAR08. Voor een verdere toelichting zie Tabel iii. Figuur 19: Gannt diagram Aanbestedingsproces Belastingdienst en IB groep Groningen, met berekende en gesimuleerde waarden Figuur 19 toont de gesimuleerde doorlooptijd, de rode balk, en de bijbehorende einddatum in de kolom Sim. Date (de zwarte ruit). Als vergelijk is de actuele datum in de kolom Planned Date (de groen gekleurde ruit) weergegeven. Voor een toelichting zie Figuur

56 Figuur 20: Program Work Breakdown Figuur 20 toont de doorlooptijd van het Aanbestedingsproces PPS in een histogram. De verticale as toont het Aanbestedingsproces PPS als activiteit. Op de horizontale as wordt het werkvolume in uren per dag aangegeven. Eveneens wordt met een kleur de verlenging van de doorlooptijd op de balken aangegeven. De grootste doorlooptijdverlenging wordt veroorzaakt door Rework ( 1611 dagen), gevolgd door Coordination (315 dagen) en Decision Wait (36 dagen). Voor verdere toelichting, zie tekst onder Figuur 13. Tabel ix: Project statistics In Tabel ix worden vijftien kolommen getoond en is een horizontale weergave van Tabel i: Project statistics. Het belangrijkste gegeven uit de tabel is vermeld in de kolom Simulated Finish Date; hier 01-Nov

57 Tabel x: Aantal toegewezen personen Tabel x geeft een opgave van het aantal toegewezen personen (2 e kolom, Total FTE s) aan de betrokken staande organisatie en de projectorganisatie (1 e kolom, Organization). Daarnaast wordt in de 3 e kolom, Communication Risk en in de 4 e kolom, Meeting Risk, vermeld. Deze twee waarden worden aan de hand van de ingestelde parameterwaarden door het Stanfordmodel uitgerekend. De projectorganisatie bestond uit 17 personen. Twee personen die het proces bewaakten en 15 personen die als specialist aan het project hebben meegewerkt (opg. RGD). Voor een toelichting op Communication Risk en Meeting Risk, zie en Verschil in tijd tov geplande datum Geplande datum (opg. RGD) 01JAN08 - Actuele datum (opg. RGD) 01MAR08 2 mndn Gesimuleerde datum 20FEB08 1 mnd en 20 dagen Verschil in % tov geplande datum 14% (1 mndn+20dgn/28dgn feb.)/2mnd= Tabel xi: Tabel met verschilwaarden einddatum Tabel xi bestaat uit drie kolommen. In de eerste kolom wordt een verklarende tekst vermeld voor de tweede kolom. In de tweede kolom worden de verschillende datums vermeld waarmee in de derde kolom een verschilwaarde (in doorlooptijd en percentage) wordt berekend ten opzichte van de geplande datum 50

58 Nieuwbouw Belastingdienst Doetinchem Verzamelde data aanbestedingsproces Vraag no. Naming of parameter Mediaan waarden questionaire Parameter value Doetinchem 1 Primary assignment 37 2 Primary assignment 46 37,00 0,85 3 Uncertainty 42 MEAN 4 Information exchange probability 34 5 Information exchange probability 61 61,00 0,63 6 Skills 44 MEAN 7 Project Matrix 48 MEAN 8 Centralization 58 MEAN 9 Formalization 64 MEAN 10 Solution Complexity 62 MEAN 11 Requirement Complexity Requirement Complexity 47 46,00 MEAN 13 Team Experience 64 MEAN 14 Priority 71 HIGH 15 Functional error probability 44 0,07 16 Noise probability 36 0,08 17 Project error probability 24 0,16 18 Postions role Postions role 97 73,00 PM 20 Meetings units 72 DAY Tabel xii: Verzamelde data en datatransformatie Belastingdienst Doetinchem Voor analyse op multicollineariteit: zie opmerking De gele kolom in Tabel xii toont de getransformeerde waarden van de ingevoerde parameterwaarden. Voor toelichting op de andere kolommen van deze tabel zie Tabel ii. 51

59 mnths Start date AUG Geplande en gesimuleerde data aanbestedingsproces Opgave RGD, DEC09 End date Start 1 Vooraankondiging DEC Aankondiging JAN Aanmelding gegadigden MAR Selectie partijen MAY06 2 tot 5 2 Dialoog I JUL06 6 Beoord.reductie partijen DEC06 5 tot 7 2 Dialoog II FEB07 8 Inschrijving FEB Gunning MAY07 3 Actual Finish: MAY08 Tabel xiii: Plannning Aanbestedingsproces Belastingdienst Doetinchem In Tabel xiii worden de achtereenvolgende processtappen vermeld met bijbehorende startdatums en doorlooptijden in maanden. De start van het aanbestedingsproject Belastingdienst Doetinchem was AUG05. De datum van contractondertekening was MAY08. Voor een verdere toelichting zie Tabel iii. Figuur 21: Ganntchart invoer parameterwaarden 52

60 Figuur 21 toont de gesimuleerde doorlooptijd, de rode balk, en de bijbehorende einddatum in de kolom Sim. Date (de zwarte ruit). Als vergelijk is de actuele datum in de kolom Planned Date (de groen gekleurde ruit) weergegeven. Voor een toelichting zie Figuur 15 Figuur 22: Work Break Down Figuur 22 toont de doorlooptijd van het Aanbestedingsproces PPS in een histogram. De verticale as toont het Aanbestedingsproces PPS als activiteit. Op de horizontale as wordt het werkvolume in uren per dag aangegeven. Eveneens wordt met een kleur de verlenging van de doorlooptijd op de balken aangegeven. De grootste doorlooptijdverlenging wordt veroorzaakt door Rework (2328 dagen), gevolgd door Coordination (451 dagen) en Decision Wait (43 dagen). Voor verdere toelichting, zie tekst onder Figuur 13. Tabel xiv: Project statistics In Tabel xiv worden vijftien kolommen getoond en is een horizontale weergave van Tabel i: Project statistics. Het belangrijkste gegeven uit de tabel is vermeld in de kolom Simulated Finish Date; hier 17-Apr

61 Tabel xv: Aantal toegewezen personen Tabel xv geeft een opgave van het aantal toegewezen personen (2 e kolom, Total FTE s) aan de betrokken staande organisatie en de projectorganisatie (1 e kolom, Organization). Daarnaast wordt in de 3 e kolom, Communication Risk [ ] en in de 4 e kolom, Meeting Risk [ ], vermeld. Deze twee waarden worden aan de hand van de ingestelde parameterwaarden door het Stanfordmodel uitgerekend. De projectorganisatie bestond uit 17 personen. Twee personen die het proces bewaakten en 15 personen die als specialist aan het project hebben meegewerkt (opg. RGD). Voor een toelichting op Communication Risk en Meeting Risk Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie Verschil in tijd tov geplande datum Geplande datum (opg. RGD) 01MAY07 - Actuele datum (opg. RGD) 01MAY08 12 mnd Gesimuleerde datum 17APR08 11 mnd en 17 dgn (11mnd+17dgn/30dgn)/12mnd=0.964 Verschil in % tov geplande datum 4% Tabel xvi: Verschilwaarden simulatie uitkomsten Tabel xvi bestaat uit drie kolommen. In de eerste kolom wordt een verklarende tekst vermeld voor de tweede kolom. In de tweede kolom worden de verschillende datums vermeld waarmee in de derde kolom een verschilwaarde (in doorlooptijd en percentage) wordt berekend ten opzichte van de geplande datum 54

62 Nieuwbouw Kromhout Kazerne Verzamelde data aanbestedingsproces Vraag no. Naming of parameter Mediaan waarden questionaire Parameter value Kromhoutkzrn 1 Primary assignment 30 2 Primary assignment 33 30,00 1,00 3 Uncertainty 32 LOW 4 Information exchange probability 9 5 Information exchange probability 9 9,00 0,26 6 Skills 82 HIGH 7 Project Matrix 56 MEAN 8 Centralization 100 HIGH 9 Formalization 60 MEAN 10 Solution Complexity 72 HIGH 11 Requirement Complexity Requirement Complexity 34 33,50 MEAN 13 Team Experience 82 HIGH 14 Priority 100 HIGH 15 Functional error probability 34 0,07 16 Noise probability 33 0,07 17 Project error probability 26 0,16 18 Postions role Postions role ,00 PM 20 Meetings units 72 DAY Tabel xvii: Verzamelde data en datatransformatie Kromhout kazerne Voor analyse op multicollineariteit: zie opmerking De gele kolom in Tabel xvii toont de getransformeerde waarden van de ingevoerde parameterwaarden. Voor toelichting op de andere kolommen van deze tabel zie Tabel ii. 55

63 Geplande en gesimuleerde data aanbestedingsproces Tabel xviii: Planning Aanbestedingsproces Kromhout kazerne In Tabel xviii worden de start- en einddatums van de diverse aanbestedingsfasen vermeld. De startdatum voor de eerste fase is JUL05 en de einddatum, contractondertekening 1 e fase: JUN08. De 2 e fase liep van JAN08 tot FEB09. 56

64 Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie, 1e fase Figuur 23: Gannt chart Aanbestedingsproces (incl. Baseline) Figuur 23 toont de gesimuleerde doorlooptijd, de rode balk, en de bijbehorende einddatum in de kolom Sim. Date (de zwarte ruit). Als vergelijk is de geplande doorlooptijd, de rood geruite balk, (of baseline) met bijbehorende rode ruit weergegeven. Uit de figuur blijkt dat de geplande looptijd met een maand is verkort. Voor een toelichting zie Figuur 15. Figuur 24: Program Breakdown Figuur 24 toont de doorlooptijd van het Aanbestedingsproces PPS in een histogram. De verticale as toont het Aanbestedingsproces PPS als activiteit. Op de horizontale as wordt het werkvolume in uren per dag aangegeven. Eveneens wordt met een kleur de verlenging van de doorlooptijd op de balken aangegeven. De grootste doorlooptijdverlenging wordt veroorzaakt door Rework ( dagen), gevolgd door Coordination (175.9 dagen) en Decision Wait (86 dagen). De 57

65 tweede balk geeft de geplande doorlooptijd (baseline) aan en dient als voorbeeld om aan te geven wat de invloed is van de diverse parameters. Voor verdere toelichting, zie tekst onder Figuur 13. Tabel xix: Project Statistics Tabel xix toont de diverse karakteristieken van de eerste fase: contractondertekening PPS kantooraccomodatie 2000 fte. De gesimuleerde waarde ligt 1 dag van de actuele datum. De FRI waarde, een parameter die het risico op kwaliteitsvermindering weergeeft [ ] en de PRI waarde, een parameter voor de mate van systeemintegratie [ ]. De hoeveelheid Rework, Coordination en Decision Wait [ ] staan eveneens vermeld in dagen. Tabel xx: Betrokken medewerkers Tabel xx geeft het aantal medewerkers die betrokken zijn bij het project Kromhout Kazerne. De Project Directeur en de Interne opdrachtgever maken geen deel uit van het projectteam. In de diverse kolommen zijn de volgende onderwerpen vermeld: Name: functie van de betrokken medewerker(s); Role: een gekozen parameterwaarde [ ]; De Application Experience of Beroepservaring [ ]; FTE, een afkorting voor Fulltime-equivalent; Work Day, aantal werkuren per dag en in de laatste kolom, Work Week, aantal werkdagen per week. Voor de Ad hoc pool is voor de Application Experience, een waarde -High- genomen. Dit komt omdat de ad hoc pool uit medewerkers bestaat die door hun ervaring in de pool zijn geplaatst. Uit de ad hoc pool zijn 16 personen aan het team toegevoegd. Dit getal is door iteratie van de simulatie-uitkomsten bepaald. Die uitkomst, de gesimuleerde einddatum, moet overeenkomen met de actuele einddatum, waarna de projectspecificaties duidelijk worden. De drie teams zijn samengesteld uit een projectleider, vier medewerkers waarvan twee met senior ervaring. 58

66 Figuur 25: Program Summary Statistics Figuur 25 toont de verschillende Kwaliteitsvariabelen [ ]: De Work duration, met Maanden als eenheid; Process Quality Risk, parameter genegeerde uitzonderingen en halfslachtige oplossingen; Product Quality Risk, parameter van het gemiddelde van de parameters FRI (Functional Risk Index) en PRI (Project Risk Index); Communications Risk, parameter voor het risico bij informatie-uitwisseling, en Meeting Risk, parameter voor het risico s bij overleg. Van alle parameters is eveneens de standaarddeviatie gegeven. 59

67 Grafiek II: Program Person Backlog Grafiek II toont de werkbelasting van vijf project medewerkers met de meeste werkachterstand: projectleider Juridisch team, projectleider Financieel team, projectleider Technisch team, Senior medewerker Financieel team en medewerker Juridisch team Vergelijking data actuele eindsituatie en gesimuleerde eindsituatie, 2e fase Figuur 26: Gannt chart 2e fase (incl. scope change) Figuur 26 geeft de doorlooptijd van het gehele aanbestedingsproces inclusief de tweede fase. Voor een toelichting zie Figuur

68 Figuur 27: Program Breakdown Figuur 27 toont de doorlooptijd van het Aanbestedingsproces PPS in een histogram. De verticale as toont het Aanbestedingsproces PPS als activiteit. Op de horizontale as wordt het werkvolume in uren per dag aangegeven. Eveneens wordt met een kleur de verlenging van de doorlooptijd op de balken aangegeven. De grootste doorlooptijdverlenging wordt veroorzaakt door Rework (17896 dagen), gevolgd door Coordination (2030 dagen) en Decision Wait (133 dagen). Voor verdere toelichting, zie tekst onder Figuur 13. Tabel xxi: Project Statistics Tabel xxi toont de diverse karakteristieken inclusief de tweede fase: contractondertekening PPS kantooraccomodatie 3000 fte. De gesimuleerde waarde ligt 1 dag van de actuele datum. De hoeveelheid Rework, Coordination en Decision Wait [ ] staan eveneens vermeld in dagen. 61

69 Tabel xxii: Betrokken medewerkers Tabel xxii voor de Ad hoc pool, die uit drie teams van 15 personen bestaat, is voor de Application Experience, een waarde -High- genomen. Dit komt omdat de ad hoc pool uit specialisten bestaat. Dit getal is door iteratie van de stimulatie-uitkomsten bepaald. Die uitkomst, de gesimuleerde einddatum, moet overeenkomen met de actuele einddatum, waarna de projectkarakteristieken duidelijk worden. Voor toelichting op de tabel zie toelichting bij Tabel xx. 62

70 Figuur 28: Program Statistics Figuur 28 toont de verschillende Kwaliteitsvariabelen [ ]. Voor toelichting op deze figuur, zie Figuur 25. Een FRI waarde, een parameter die het risico op kwaliteitsvermindering weergeeft, van 0.3 [ ] en een PRI waarde, een parameter voor de mate van systeemintegratie [ ], van

71 Grafiek III: Program Person Backlog Grafiek III toont de werkbelasting van vijf project medewerkers met de meeste werkachterstand: Procesmanager, Projectsecretaris, Projectleider Financieel team, projectleider Juridisch team, projectleider Technisch team Robuustheid Om de robuustheid van het Stanfordmodel te testen, zijn de categoriegrenzen [3.6] van de parameterwaarden veranderd. Dit heeft tot gevolg dat een aantal parameterwaarden hun uiterste waarden aannemen of hier naar tenderen. Voor de test zijn de data van het project Ministerie van Financiën gebruikt. 64

72 Extreme parameterwaarden Vraag no. Naming of parameter Mediaan waarden questionaire Parameter value Groningen 1 Primary assignment 34 2 Primary assignment 33 34,00 1,00 3 Uncertainty 22 LOW 4 Information exchange probability 33 5 Information exchange probability 20 20,00 0,2 6 Skills 73 HIGH 7 Project Matrix 50 MEAN 8 Centralization 81 HIGH 9 Formalization 66 HIGH 10 Solution Complexity 53 MEAN 11 Requirement Complexity Requirement Complexity 62 45,50 HIGH 13 Team Experience 72 HIGH 14 Priority 74 HIGH 15 Functional error probability 50 0,05 16 Noise probability 57 0,20 17 Project error probability 22 0,20 18 Postions role Postions role 88 80,00 PM 20 Meetings units 54 WEEK Tabel xxiii: Verzamelde data en datatransformatie aangepaste categoriegrenzen, Belastingdienst & IB groep Groningen Voor analyse op multicollineariteit: zie opmerking De gele kolom in Tabel xxiii toont de getransformeerde waarden aan de hand van de aangepaste categoriegrenzen waarbij voor alle parameterwaarden, extremen zijn gebruikt. Voor toelichting op de andere kolommen van deze tabel zie Tabel ii Gevoeligheidsanalyse Om de robuustheid van het Stanfordmodel te bepalen, is een gevoeligheidsanalyse uitgevoerd. Deze analyse is gebaseerd op een veelheid aan parameterwaarden instellingen die in Tabel xxiv staan vermeld. De gekozen data zijn een mix van parameterwaarden getransformeerd met de categoriegrenzen uit [3.3], de Normaal waarden en [3.6], de Extreem waarden. De uitkomsten komen uit een Monte Carlo generator die runs maakt van 25 (25 keer dezelfde berekening). De 65

73 uitkomst van die berekening is een gesimuleerde einddatum die wordt gebruikt om een betrouwbaarheidsrange rond de actuele einddatum te bepalen. Parameterwaarden Project Renovatie Ministerie van Financiën Normaal Extreem Info Exchange 0,35 0,2 Noise Prob 0,05 0,01 Funct. Error 0,09 0,05 Proj. Error 0,19 0,2 Geplande datum: 01MAR06 Actuele datum: 01NOV06 verschil: 7 mndn Info Exchange 0,2 0,2 0,2 Noise Prob 0,05 0,01 0,01 Funct. Error 0,09 0,09 0,05 Proj. Error 0,19 0,19 0,19 Uitkomst simulatie 03NOV06 08NOV06 14OCT06 Verschil tov geplande datum 7 3/30=7,1 mnd 7 8/30=7,3 mnd 6 14/31=6,5 mnd Verschil in % tov geplande datum 7,1/7=101 % 7,3/7= 104% 6,5/7=93% Info Exchange 0,2 0,2 0,2 Noise Prob 0,05 0,05 0,01 Funct. Error 0,09 0,05 0,09 Proj. Error 0,2 0,2 0,19 Uitkomst simulatie 22NOV06 19OCT06 10NOV06 Verschil tov geplande datum 7 22/30=7,7 mnd 6 19/31=6,6 mnd 7 10/30=7,3 mnd Verschil in % tov geplande datum 7,7/7=110% 6,6/7=94% 7,3/7=104% Info Exchange 0,35 0,35 0,35 Noise Prob 0,01 0,05 0,05 Funct. Error 0,05 0,05 0,09 Proj. Error 0,2 0,2 0,2 Uitkomst simulatie 20OCT06 12OCT06 28NOV06 Verschil tov geplande datum 6 20/31=6,5 mnd 6 12/31=6,4 mnd 7 28/30= 7,9 mnd Verschil in % tov geplande datum 6,5/7=93% 6,4/7=91% 7,9/7=113% 66

74 Info Exchange 0,35 0,35 0,35 Noise Prob 0,01 0,05 0,05 Funct. Error 0,05 0,09 0,05 Proj. Error 0,19 0,2 0,19 Uitkomst simulatie 13OCT06 18NOV06 30SEP06 Verschil tov geplande datum 6 13/31=6,4 mnd 7 18/30=7,6 mnd 6 mnd Verschil in % tov geplande datum 6,4/7=91% 7,6/7=109% 6/7=86% Info Exchange 0,35 0,35 0,35 Noise Prob 0,05 0,05 0,01 Funct. Error 0,09 0,05 0,09 Proj. Error 0,2 0,2 0,2 Uitkomst simulatie 25NOV06 20OCT06 14NOV06 Verschil tov geplande datum 7 25/30=7,8 mnd 6 20/31=6,6 mnd 7 14/30=7,5 mnd Verschil in % tov geplande datum 7,8/7=111% 6,6/7=94% 7,5/7=107% Tabel xxiv: Procentuele verschil einddatum In Tabel xxiv worden aan de hand van de ingestelde parameterwaarden van de parameters Information Exchange, Noise probability, Functional Error probability en Project Error probability [2.3.8]. Als criterium is een afwijking > 15% ten opzichte van de actuele einddatum gesteld. In de bovenste kolom zijn de waarden van de parameters, bepaald uit de on-line stellingenlijst. vermeld (Normaal) met daarnaast de kolom met de extreme parameterwaarden (Extreem). Vervolgens worden voor de diverse parameterwaarden, de uitkomsten van de diverse simulaties vermeld. Daaronder wordt het verschil berekend voor de periode: geplande datum versus uitkomst simulatie datum. Aan de hand van een verhoudingsgetal, [Tabel vi: Tabel met verschilwaarden einddatum] is een procentuele waarde te bepalen. De uitkomsten van de diverse parameterwaarden liggen tussen 86% en 113%. 67

75 4 Analyse 4.1 Theorie en praktijk Definitie simulatiemodel Skolowski en Banks (2009) stellen dat enig simulatiemodel de werkelijkheid van een proces en/of gebeurtenis zo realistisch mogelijk dient te benaderen. Daarbij onderscheidt een simulatie zich van een productieproces door een proces binnen een vast tijdbestek te imiteren [1.3.1]. In dit onderzoek zijn een procesmodel [Figuur 7] en meerdere aanbestedingsprocessen gesimuleerd [2.3.4] binnen een vast tijdsbestek [ vb. Tabel iii] Organisatorische risico s Kunz e.a. (1998) definiëren organisatorische risico s als eigenschappen van een organisatie en competenties van betrokken projectmedewerkers die van invloed zijn op de doorlooptijd van het totaal van uit te voeren activiteiten [1.3.2]. Bij de retrospectieve toetsing van de drie RGD projecten, is als eerste de uitgangssituatie nagebootst aan de hand van de opgegeven geplande data [Tabel viii]. Hierna zijn alle parameterwaarden ingevoerd die zijn getransformeerd uit de verzamelde data [vb. Tabel ii]. Na invoering van de parameterwaarden komen de uitkomsten, de einddatums van de simulaties, redelijk in de buurt van de opgegeven actuele einddatums. De nauwkeurigheid van de gesimuleerde einddatums ligt in de range van 15% rond de einddatum. Uitgangspunt hierbij is het quotiënt tussen de (geplande einddatum gesimuleerde einddatum) versus (geplande einddatum actuele einddatum) van het aanbestedingsproces. De invloed van de diverse parameters is hiermee aangetoond [Figuur 18]. De ingestelde parameterwaarden voor de geplande doorlooptijd (=baseline) is de waarde -0- of de categorie -Gemiddeld-. De diverse aanbestedingstrajecten die in dit onderzoek onder de loep zijn genomen, zijn slechts gedeeltelijk een uniek product. Voor elk project wordt een toegesneden contract opgesteld maar bij het opstellen van het contract wordt een gestandaardiseerde procesgang gevolgd [Figuur 9]. Door toepassing van een voor Nederland nieuwe samenwerkingsvorm, een publiek private samenwerking, is de term uniek van toepassing. In dit onderzoek is het kostenaspect niet meegenomen. Voor het aanbestedingstraject kan, met aanzienlijke tijdsoverschrijdingen van het aanbestedingstraject [vb. Tabel vi] en de langere betrokkenheid van het aanbestedingsteam, worden aangenomen dat het deelbudget is overschreden. Opgemerkt wordt dat een betere voorbereiding vaak een beter eindresultaat oplevert, wat betekent dat het goed mogelijk is dat één of meerdere projecten binnen budget zijn afgesloten. Over de kwaliteit van het door het aanbestedingsteam uitgevoerde werk, kunnen uitsluitend opmerkingen worden gemaakt aan de hand van de simulatie-uitkomsten. Die tonen in de diverse rapportages [vb. Figuur 14 en Tabel i] dat er kwaliteitszaken optreden gedurende het 68

76 aanbestedingsproces. De uiteindelijke kwaliteit van het proces kan door de aard van het contract pas na oplevering en een aantal jaren ervaring met de bedrijfsvoering van het object door de opdrachtnemer, worden vastgesteld Bestuurlijke besluitvorming De bestuurlijke besluitvorming waarover Vis en Schuur, red. (1988) [1.3.5] en [2.3.1] hebben gepubliceerd, zijn eveneens op het aanbestedingsproces van toepassing. Het traject van besluitvorming binnen het aanbestedingstraject van een PPS-verband ligt binnen dit model tussen barrière 2 en 3. In die ruimte of periode vindt de omzetting plaats van de afweging van (al dan niet politieke) wensen gevolgd door de besluitvorming. Binnen een aanbestedingsfase vindt enige vorm van concurrentiestrijd plaats. Betrokken partijen argumenteren gedurende die periode over de gewenste functionaliteiten. Door het aantal betrokken partijen en de omgeving waarbinnen alle betrokken partijen opereren, is het aannemelijk dat de besluitvorming binnen een bestuurlijke context plaats vindt Organisatie theorieën De stellingen die March (1970) [2.2.1] in zijn theorie heeft geponeerd, zijn als uitgangspunten genomen bij de ontwikkeling van het Stanfordmodel. Met de uitkomsten van de diverse simulaties is getoetst of het Stanfordmodel nauwkeurige uitkomsten geeft. Hiervoor zijn de verschillen in doorlooptijd tussen het geplande aanbestedingproces versus het gesimuleerde aanbestedingsproces gevoed met projectspecifieke karakteristieken (de parameterwaarden). Daarnaast zijn de Rework en communicatielijnen toegepast. Door als uitgangspunt een proces te modelleren, is aannemelijk dat de stellingen van March (1970) over informatie-overdracht, correct zijn. Datgene wat enkele jaren later door March (1987) over informatieopname en de besluitvorming is gemeld, klinkt aannemelijk, maar is slechts in enige mate aangetoond met de modellering. Het model [Figuur 10] van het aanbestedingsproces is voorzien van Rework (de rode lijnen) en communicatielijnen (de groene lijnen). Als voorbeeld zijn voor het RGD project Min. van Fin. deze twee verbindingslijnen verwijderd. 69

77 Figuur 29: Program Breakdown In Figuur 29 toont de bovenste balk de situatie in het model waarbij geen Rework of communicatielijnen zijn toegepast. Bij de onderste balk is dit wel het geval. Er is een duidelijk onderscheid in doorlooptijd waarneembaar. De stelling van Galbraith (1976), over de samenstelling van een organisatie, is in grote lijnen van toepassing door de resultaten van het model van het aanbestedingsmodel. Dit model is algemeen van opzet met weinig differentiaties naar tussenliggende activiteiten [Figuur 9]. Omdat uitsluitend het aanbestedingstraject van enkele projecten onder de loep is genomen, zijn er geen uitspraken mogelijk over veranderende werkprocessen [2.2.1]. Voor het Defensieproject Kromhout Kazerne, zijn aanbevelingen gedaan over de wijze van organiseren. Met de beschikbare informatie zijn enkele afhankelijke variabelen ingesteld, waarna met de uitkomsten van de simulatie aanbevelingen mogelijk [3.10.4] zijn. Deze aanbevelingen betreffen optimalisering van de informatiestromen en daarmee (her)inrichting van de projectorganisatie. Dit traject is door het Stanfordteam uitgevoerd vanaf het ontwerp en start van hun model door de categoriegrenzen van de parameterwaarden bij te stellen [3.3] en [3.6] De geluiden die uit Stanford komen, zijn dat de parameters redelijk zijn gestabiliseerd en er om die reden weinig bijstellingen meer nodig zijn Eindig systeem Het Stanfordmodel voor dit onderzoek, kan als een eindig systeem (Banks, 1984) worden genomen [2.2.2]. Het gesimuleerde proces, hier het aanbestedingsproces, heeft een duidelijk begin en einde [vb. Figuur 19], gescheiden door een tijdsperiode (hier meerdere maanden). Dat er onvoorspelbare zaken gebeuren die niet altijd zijn te simuleren, is door het Stanfordteam 70

78 ondervangen door de uitgangspunten van het model op een relatief hoog abstractieniveau te nemen (modelleren zonder veel details) Amsterdams Informatiemanagement Model Het Amsterdams Informatiemanagement Model (AIM) [2.2.3] kan als triangulatie dienen voor datgene wat March (1970, 1987) over informatieoverdrachten en de Informatie-architectuur van Galbraith (1976) hebben geponeerd. Het negenvlak heeft als uitgangspunt dat er een afweging is op welke wijze informatie wordt verwerkt. Het model beperkt zich daarbij niet tot één oplossing maar is continue in beweging om de optimale informatieverwerking te vinden. Het zoeken naar de juiste balans bij het vinden van een dergelijke oplossing loopt parallel met de gedachte van March en Galbraith Twaalf vereisten Banks (1984) definieert twaalf vereisten voor een simulatie. Bij de simulatie van het aanbestedingproces is in alle gevallen de start van het proces als uitgangspunt genomen [vb. Tabel xi]. Voor item ix geldt dat dit onderzoek een toetsing is [1.1]. Voor item x wordt verwezen naar de gevoeligheidsanalyse en de bijbehorende uitkomsten. Deze analyse is een maat voor de robuustheid van een model [3.6] en [2.2.4], en zijn allemaal uitgevoerd. Waarbij wordt aangetekend dat item xii als advies dient Begrip -Aandacht- Het begrip Aandacht zoals door Kunz e.a. (1988) gedefinieerd [2.2.6] komt duidelijk naar voren bij vergelijking van de uitgangssituatie van de simulatie van het aanbestedingsproces. (de baseline) en de uitkomsten van de simulatie. Bij die laatste zijn de project specifieke parameterwaarden [ vb. Tabel ii] ingevoerd Negen eigenschappen Banks (1984) geeft een negental eigenschappen van een simulatie die zijn gebaseerd op een enkelvoudige waarneming [2.2.7]. Het aanbestedingsproces kan worden gezien als een verzameling van mensen en middelen die in een bepaalde periode één doel, ondertekenen van een aanbestedingscontract, willen bereiken. Dit doel wordt bereikt door het aanbestedingsproces te modelleren (item ii). [Figuur 10]. Het model wordt verder voorzien van een systeem (item i) dat wordt samengesteld uit activiteiten, medewerkers, cultureel, organisatorische- en projectspecifieke eigenschappen (item iii) [ en ]. Met meerdere processtappen of entiteiten (item iv) en eigenschappen van het proces (item v), in dit geval de aanwezigheid van relaties, Rework en communicatielijnen. De processtappen zijn sequentieel geordend (item vi). Daarbij worden veranderende gebeurtenissen (item vii), hier toegevoegde functionaliteiten, weergegeven door 71

79 Rework [2.2.6]. Een tiental die het proces vormen (item viii) en binnen een bepaalde tijd (item ix) worden uitgevoerd, worden gevat onder een aanbestedingsproces [Tabel vi] Datavaliditeit De datavaliditeit zoals verwoord door Sargent (1992) [2.2.8], is eveneens herkenbaar in het Stanfordmodel. Hoewel bij het Stanfordmodel de onderlinge invloed van de parameters als een zwarte doos moet worden gezien [1.4], kan het aanbestedingsproces als een conceptueel model worden aangenomen en de juistheid van de invoergegevens als waarborg voor een goede uitkomst. Vooral dit uitgangspunt is gekozen om de betrouwbaarheid van de invoergegevens vast te stellen. Wanneer respondenten stellingen in een vragenlijst herkennen uit hun eigen projectomgeving, zullen zij eerder bereid zijn die stellingenlijst te beantwoorden. Hiermee neemt de betrouwbaarheid van de antwoorden toe. Deze stelling komt overeen met de empirische uitkomsten [Bijlage F]. Daarnaast komt dit overeen met de waarnemingen tijdens het onderzoek: twee respondenten zijn aan het begin van de stellingenlijst gestopt met invullen en gaven per mail aan dat zij geen binding zagen met de geponeerde stellingen en hun betrokkenheid bij het betreffende project Theoretisch kader De toetsing van het aanbestedingsproces kan worden uitgevoerd met het theoretisch kader van Thomsen e.a. (1999) [ ]. De drie vermelde niveaus, micro, meso en macro niveau die de verticale as vormen [ ], zijn allen op het aanbestedingsproces van toepassing. Het micro niveau is de reeks activiteiten en toegewezen relaties uitgevoerd door de drie specialistenteams. Als het mesoniveau kunnen de relaties tussen de specialisten, projectdirectie en de leiding van de organisatie worden aangemerkt. Het macroniveau binnen het aanbestedingsproces kan worden getypeerd als de invloed die de opdrachtgever en externe factoren, zoals de prijsstelling, op het proces hebben. De drie onderwerpen op de horizontale as [Figuur 4] van het Thomsenmodel (Thomsen e.a.,1999) kunnen met het Stanfordmodel voor het aanbestedingsproces als volgt worden verklaard: de Reden van de simulatie is de wens om een beter zicht te krijgen op de doorlooptijd van het proces, het benodigd aantal projectmedewerkers en lokalisatie van mogelijke knelpunten in het proces. Voor de Representatie van het model is een standaard aanbestedingsmodel gebruikt. Daarnaast zijn voor elk project, cultuur, organisatie- en projectspecifieke eigenschappen (de parameterwaarden) toegepast. Voor de toepasbaarheid van het model zijn met een on-line vragenlijst de gewenste data verzameld. Uitkomsten van de verzamelde data zijn positief wat kan worden afgeleid uit een hoge Cronbach Alpha waarde [Bijlage F]. 72

80 Retrospectief onderzoek Bij toepassing van een retrospectief onderzoek [ ], is er de mogelijkheid dat de respondenten zich niet meer precies de situatie uit het verleden herinneren en om die reden één of meerdere foutieve antwoorden geven. Om de mogelijkheid hiertoe te verkleinen, is de vraagstelling van de on-line stellingenlijst op een algemene wijze geformuleerd. Uitkomsten hiervan zijn positief wat kan worden afgeleid uit een hoge Cronbach Alpha waarde [Bijlage F] Zwitsersekaas model Het Stanfordteam pretendeert alle factoren die invloed kunnen hebben op een proces, te onderkennen. Ondanks een kwalitatieve toetsing wijzen de uitkomsten van de diverse simulaties in die richting. Wanneer dit zo is zijn alle opties door Kunz e.a. (1988) gedefinieerd. Op een andere wijze geformuleerd; staan alle gaten opgelijnd en vindt enig gebeurtenis plaats. Dit is in lijn met datgene wat Reason (1998) met zijn Zwitsersekaas model bedoelt [ ] 4.2 Model evaluatie De reactie van de respondenten is in lijn met Sargent (1992) [3.4]. Twee respondenten zijn aan het begin van de stellingenlijst gestopt met invullen en lieten weten dat zij geen binding zagen met de geponeerde stellingen en hun betrokkenheid bij het betreffende project. De mate van nonresponse ligt op 90% [Bijlage E-Tabel xxvi]. Als uitkomsten van de modellering zijn voor de drie RGD projecten de volgende parameterwaarden vastgesteld [3.10.1, , , ]. Voor alle activiteiten is uitgegaan van een werkweek van 5 dagen met een achturige werkdag. Alle projecten geven met een medium parametermatrix [2.3.8] waarde aan dat de informatie uitwisseling binnen hun project redelijk is verlopen. De ervaring van alle projectmedewerkers is voor de vier projecten gecategoriseerd als Gemiddeld: Doetinchem, tot Hoog voor: Groningen, Min. van Financiën en Kromhout Kazerne. Voor drie projecten: Groningen, Min. van Financiën en Kromhout Kazerne is aangegeven dat de besluitvorming sterk is gecentraliseerd (Parameterwaarde Hoog). Voor Doetinchem lag deze waarde Gemiddeld. Bij drie projecten was er sprake van een lage waarde voor de onvolledigheid van de informatie. Alleen voor Doetinchem lag deze waarde op Gemiddeld. 73

81 Bij het Ministerie van Financiën en Kromhout Kazerne is de mate van werken met procedures en standaarden, als Hoog getypeerd. De respondenten van de projecten Doetinchem en Groningen, gaven aan dat deze waarde Gemiddeld was. Opdrachtgever en opdrachtnemer hadden op regelmatige momenten overleg: projectoverleg dagelijks tot 1* per week; overleg met een stuurgroep en directieoverleg; om de paar maanden. Het Defensieproject onderscheidde zich van de drie RGD projecten door het ontbreken van een directieoverleg en de afwezigheid van een externe opdrachtgever. Bij project Kromhout Kazerne is de moeilijkheidsgraad van het project als Hoog geschat. Bij de andere drie projecten is deze parameterwaarde als Gemiddeld gekozen. Bij drie projecten werd de ervaring die men met elkaar had, teamervaring, als Hoog geschat. De medewerkers van project Doetinchem gaven een gemiddelde waarde aan. De simulatie-uitkomsten van de drie RGD projecten laten de invloed van de parameters zien. De drie einddatums van de simualtie-uitkomsten liggen in een range van 4% tot 14% van de actuele einddatum. [Tabel vi, Tabel xvi] Min. van Financiën Groningen Doetinchem 6.8 % 14.0 % 4.0 % Tabel xxv: Overzicht uitkomsten vergelijk actuele waarden vs gesimuleerde waarden De FRI en PRI waarden die uit de simulatie-uitkomsten van de twee fasen van de Kromhout Kazerne volgen [Figuur 25, Figuur 28], liggen onder de gemiddelde rangewaarden van 0,33 tot 0,60. Dit houdt in dat de meeste omissies zijn hersteld. De uitkomsten van de Gevoeligheidstest [3.11.2] vallen binnen het criterium voor de robuustheid. Dit criterium is arbitrair gesteld op een afwijking van de doorlooptijd > 15% [3.6] en [Tabel xxiv]. Daarbij geldt dat de 13% foutnegatief is en 14 % fout positief. Met de uikomsten van meerdere Monte Carlo analyses is een test uitgevoerd op afwijkingen van de simulatie-uitkomsten (Bijlage G). Uitkomsten van de test, vijf a zes Monte Carlo runs achter elkaar met een ingesteld aantal van 25 per runs per analyse, geven een range van waarden van circa twee weken rond de actuele eindwaarde. 74

82 5 Conclusie en aanbevelingen 5.1 Inleiding In hoofdstuk 5 staan de bevindingen van het onderzoek. Paragraaf 5.2 geeft de uitkomsten van de diverse simulaties, gevolgd door de antwoorden op de drie hypotheses. In paragraaf 5.3 staan aanbevelingen over het gebruik en de toepassing van de software. Paragraaf 5.5 vermeldt enkele onderwerpen voor verder onderzoek. 5.2 Conclusie Uitkomsten simulatie Toetsing van het Stanfordmodel aan de hand van het theoretisch kader van Thomsen geeft een goed beeld van de bruikbaarheid van het model. De reden van de simulatie was een toetsing van het Stanfordmodel op de mate waarin het model in staat is, organisatorische risico s van een project te kwantificeren binnen een organisatie die wordt gekenmerkt door bestuurlijke besluitvorming. De uitkomsten van de drie RGD projecten: simulaties versus de actuele data, liggen tussen de 4% en 14%. Omdat het onderzoek een kwalitatief karakter heeft, kan met terughoudendheid worden geconcludeerd dat het Stanfordmodel in staat is organisatorische risico s te kwantificeren binnen een omgeving met bestuurlijke besluitvorming. Het is opmerkelijk dat veel medewerkers ondanks een geheel andere wijze van aanbesteden met een PPS vorm, niet de perceptie hadden dat zij informatie misten om hun werk goed te doen. De toetsing geeft redelijke resultaten, 3 van de 4, maar de retrospectieve wijze, is gevoelig voor de onbekendheid van de hoeveelheid in te zetten medewerkers. Toetsing of validatie van het Stanfordmodel met een retrospectieve methode, is alleen mogelijk wanneer de inzet van het aantal medewerkers goed is te achterhalen. Dit uitkomsten van de twee simulaties geven aan dat niet het geval was bij het project Kromhout Kazerne. Door de onbekendheid van het juiste aantal medewerkers gedurende het project Kromhout Kazerne, vooral op de inzet van parttime medewerkers op review momenten, was het niet mogelijk het project op een retrospectieve wijze te simuleren. Om die reden is een andere wijze van toetsing gebruikt die valt binnen het theoretisch kader van Thomsen e.a., (1999). De toegepaste toetsing betreft een What-if analyse waarbij het aantal medewerkers iteratief is bepaald om met de simulatie-uitkomsten in de buurt te komen van de actuele einddatum. Voor de eerste fase kwam het aantal medewerkers uit op 34 medewerkers waarvan 18 projectteamleden en 16 medewerkers uit een ad hoc pool [Tabel xxii] Voor de tweede fase bedroeg het aantal medewerkers uit de ad hoc pool 36 personen [Tabel xxii]. Dit aantal wordt ondersteund met de twee kwaliteitsparameters PRI en FRI uit de simulatie-uitkomsten van beide fasen [Figuur 25, Figuur 28]. Opgemerkt wordt dat het Stanfordmodel uitgaat van een optimale informatiestroom en bijbehorende 75

83 informatieverwerkende organisatie. Dit houdt in dat het werkelijk aantal medewerkers naar alle waarschijnlijkheid groter was. Analyse van de simulatie-uitkomsten van het aanbestedingstraject Kromhout Kazerne geeft verder aan dat er gedurende het gehele aanbestedingsproces een enorme hoeveelheid werk bijgesteld is (Rework, Figuur 24, Figuur 27, Tabel xix, Tabel xxi]. De benodigde tijd die aan coördinatie is besteed was in de eerste fase aanzienlijk kleiner dan in de tweede fase (circa 3 keer zo klein). Aan de hand van de Program Person Backlog grafieken [Grafiek II, Grafiek III] kan worden geconcludeerd dat vooral de drie specialistenteams zwaar zijn belast. Dit wordt onderschreven door het toegewezen aantal medewerkers uit de ad hoc pool Antwoorden hypotheses Met een Cronbach Alpha waarde van ( zie Bijlage F: Data analyse) is een hoge betrouwbaarheid van de uitkomsten van de stellingenlijst aangetoond. Aan de hand van deze uitkomst kan hypothese 1 positief worden beantwoord. Als criterium voor de face validiteit is een non-response waarde van 60% genomen. Met een respons op de on-line stellingenlijst van rond de 90%, toont de verzamelde data een hoge face validiteit en is de uitkomst van hypothese 2 positief. De uitkomsten van de gevoeligheidsanalyse liggen binnen de arbitrair getelde grenzen waarmee de robuustheid van het model is aangetoond en hierdoor wordt voldaan aan hypothese Aanbevelingen Toetsing of validatie van projecten met een retrospectieve methodiek kan het beste worden uitgevoerd wanneer de inzet van het aantal medewerkers goed is te achterhalen. Hierbij moet worden vermeld dat het Stanfordmodel uit gaat van een optimale informatiestroom en bijbehorende informatieverwerkende organisatie. Dit houdt in dat het werkelijk aantal medewerkers naar alle waarschijnlijkheid op alle projecten groter was. Het bijzondere aan de dataverzameling is de toepassing van de on-line stellingenlijst met gebruik van range voting. De extreem hoge respons is een indicatie voor toepassing in andere onderzoeksomgevingen. 5.4 Onderwerpen vervolgonderzoek Dit onderzoek heeft door de omvang van de populatie een kwalitatief karakter. Uitkomsten van een kwantitatief onderzoek kan de betrouwbaarheid en daarmee de acceptatiegraad van deze technologie vergroten. Een robuust onderzoek zoals omschreven door Thomsen e.a. (1999) [ ] heeft daarbij de voorkeur. Daarnaast is onderzoek naar een grotere mate van standaard instellingen wenselijk door de hoeveelheid in te stellen parameterwaarden. 76

84 Bibliografie Abcouwer, A.W., H.J. Gels en J.H.J.M. Trijens (2006). Informatiemanagement en informatiebeleid. Den Haag: Sdu Uitgevers. Banks, J. en J.S. Carson II (1984). Discrete event system simulation. Englewood Cliffs NJ: Prentice-Hall. Blumberg, B., D.R. Cooper en R.S. Schindler (2005). Business Research Methods. Berkhire: McGraw Education Bult-Spiering, M., A. Blanken en G. Dewulf (2005). Handboek publiek-private samenwerking. Utrecht: Lemma Burton, R.M. en B. Obel (1984). Designing Efficient Organizations: Modeling and Experimentation. Amsterdam: Noord- Holland. Cohen, K.J., R.M. Cyert, W.R. Dill, A.A. Kuehn, M.H. Miller, A. van Wormer en P.R. Winters (1960).The Carnegie Tech Management Game. In: Journal of Business, 33, Cook, T.D. en D.T. Campbell (1976). The Design and Conduct of Quasi-experiments and True Experiments in Field Settings In: M.D. Dunnette (red.), Handbook of Industrial and Organizational Psychology. Chicago Il.: Rand McNally. Cyert, R.M., E.A. Feigenbaum en J.G. March (1959). Models in Behavioral Theory of the Firm. In: Behavioral Science, 4, Dalen, van, J. en E. de Leede. (2009). Statistisch onderzoek met SPSS for Windows. Den Haag, Lemma. Feldman, D.C. en H.J. Arnold (1983). Managing Individual and Group Behavior in Organizations. New York, NY: McGraw-Hill. Forrester, J.S.(1961). Industrial Dynamics. New York: J. Wiley. Galbraith, J. (1976). Designing complex organizations. Reading Massachusetts: Addison-Wesley Publishing Company. Gantt, H.L. (1974). Work, Wages and Profits. Easton Pennsylvania, Hive Publishing Company (republished). Gateau, J.B., T. A. Leweling, J. P. Looney en. M. E. Nissen (2005). Hypothesis Testing of Edge Organizations: Modeling the C2 Organization Design Space. In: ICCRTS Paper I-092. Naval Postgraduate School.

85 Hagan, J.J., W. G. Slack, R. Zolin, en J. Dillard (2006). Beyond lean and six sigma. In: Defense Acquisition Review journal, Horri, T., Y.Jin en R.E. Levitt (2005). Modeling and Analyzing Cultural Influences on Project Team Performance. In: Computational & Mathematical Organization Theory, 10, Keller, G. (2006). Statistics for Management and Economics. Belmont, CA: Thomsen Higher Education. Kunz, J.C., R.E. Levitt en YH. Jin, (1998). The Virtual Design Team: A computational simulation model of project organizations. In: Communications of the Association for Computing Machinery, 41(11), Lodge, M. (1981). Magnitude Scaling. Quantitative measurement of opinions. University series on Quantitative Application in the Social Science, Bevely Hills: Sage. Louie, M.A., K.M. Carley, L. Haghshenass, J. Kunz en R.E. Levitt (2003). Model Comparisons: Docking OrgAhead and SimVision. In: NAACSOS Conference 2003, Day 3, Electronic Publication, Pittsburgh, PA. March, J. G. (1970). Handbook of organizations. Chicago: Rand MacNally. March, J.G. (1987). Ambiguity and Accounting: The Elusive Link between Information and Decision making. In: Accounting, Organizations and Society, Vol. 12, Morgan, B.J.T. (2000). Applied stochastic modeling. Londen: Arnold publishers. Ministerie van Defensie (2010). Project PPS Kromhout Kazerne. april Den Haag: Projectorganisatie PPS Kromhout Kazerne. Project Management Institute (2006). A Guide to the Project Management Body of Knowledge (PMBoK). Zaltbommel: Van Haren publishing. Reason, J. (1998). Archieving a safe culture: Theory and practice. In: Work & Stress, Vol.12, (3), Sargent, R.G. (1996). Verifying and validating simulation models, Proceedings of the 28th conference on Winter simulation, p.55-64, Coronado, California, United States Saris, W.E. (red.) (1988). Variation in Response Functions; A source of Measurement error in attitude research. Amsterdam: Sociometric Research Foundation. Sokolowski, J.A. en C.M. Banks (red.) (2009). Principles of Modeling and Simulation. Hoboken, NJ: John Wiley & Sons.

86 Thompson, J.D. (1967). Organizations in Action: Social Science Bases of Administrative Theory. New York: McGraw Hill. Thomsen, J., R.E. Levitt, J.C. Kunz, C.I. Nass en D.B. Fridsma (1999). A trajectory for validating computational emulation models of organizations. In: Computational & Mathematical Organization Theory, 5:4, Trocine, L. en L.C. Malone (2000). Finding important independent variables through screening designs; a comparison of methods. In: J.A. Joines e.a. (red.), Proceeding of the 2000 winter simulation conference, Vol. 1, Vis, J.C.P.M. en W.H. Schuur (red.) (1988). Politieke problemen. Leiden: Stichting Burgerschapkunde. Wijnen, G. en P. Storm (2007). Projectmatig werken. Utrecht: Uitgeverij Spectrum.

87 Lijst met figuren, grafieken en tabellen Figuur 1: Concept AIM negenvlak. Bron: Abcouwer e.a., 2006, blz Figuur 2: Hoofdassen Negenvlak. Bron: Abcouwer e.a., 2006, blz Figuur 3: Conceptuele delen en processtappen voor validatie. Bron: Sargent, Figuur 4: Theoretisch model om simulatiemodel te valideren. Bron: Thomsen e.a., Figuur 5: Geïntegreerd model van het bestuurlijke besluitproces. Bron: Vis e.a.1998, blz Figuur 6: Zwitsersekaasmodel Figuur 7: Basisschema PPS-proces. Bron: Congresverslag PPS: ervaringen met rijkshuisvesting, 28 oktober 2008, blz Figuur 8: Aanbestedingsproces. Bron: Congresverslag PPS: ervaringen met rijkshuisvesting, 28 oktober 2008, blz Figuur 9: Gemodelleerd diagram Aanbestedingsproces PPS Figuur 10: Gemodelleerd relatie/beslisdiagram Aanbestedingsproces PPS Figuur 11: Oorzaak/gevolg diagram: Delegeren van beslisbevoegdheden. Bron: Thomsen e.a., Figuur 12: Oorzaak/gevolg diagram: hoe om te gaan met afwijkende zaken. Bron: Thomsen e.a., Figuur 13: Program Breakdown Aanbestedingsproces PPS Figuur 14: Program Summary statistics Figuur 15: Ganntdiagram Figuur 16: Voorbeeld Range voting, met schaal van 0 tot Figuur 17: Ganntdiagram aanbestedingsproces met berekende en gesimuleerde waarden Figuur 18: Program Work Breakdown Figuur 19: Gannt diagram Aanbestedingsproces Belastingdienst en IB groep Groningen, met berekende en gesimuleerde waarden Figuur 20: Program Work Breakdown Figuur 21: Ganntchart invoer parameterwaarden... 52

88 Figuur 22: Work Break Down Figuur 23: Gannt chart Aanbestedingsproces (incl. Baseline) Figuur 24: Program Breakdown Figuur 25: Program Summary Statistics Figuur 26: Gannt chart 2e fase (incl. scope change) Figuur 27: Program Breakdown Figuur 28: Program Statistics Figuur 29: Program Breakdown Grafiek I: Program Person Backlog Grafiek II: Program Person Backlog Grafiek III: Program Person Backlog Tabel i: Project statistics Tabel ii: Verzamelde data en datatransformatie Min. van Fin Tabel iii: planning Aanbestedingsproces Ministerie van Financiën Tabel iv: Project Statistics Tabel v: Aantal toegewezen personen Tabel vi: Tabel met verschilwaarden einddatum Tabel vii: Verzamelde data en datatransformatie Belastingdienst & IB groep Groningen Tabel viii: plannning Aanbestedingsproces Belastingdienst en IB groep Groningen Tabel ix: Project statistics Tabel x: Aantal toegewezen personen Tabel xi: Tabel met verschilwaarden einddatum Tabel xii: Verzamelde data en datatransformatie Belastingdienst Doetinchem... 51

89 Tabel xiii: Plannning Aanbestedingsproces Belastingdienst Doetinchem Tabel xiv: Project statistics Tabel xv: Aantal toegewezen personen Tabel xvi: Verschilwaarden simulatie uitkomsten Tabel xvii: Verzamelde data en datatransformatie Kromhout kazerne Tabel xviii: Planning Aanbestedingsproces Kromhout kazerne Tabel xix: Project Statistics Tabel xx: Betrokken medewerkers Tabel xxi: Project Statistics Tabel xxii: Betrokken medewerkers Tabel xxiii: Verzamelde data en datatransformatie aangepaste categoriegrenzen, Belastingdienst & IB groep Groningen Tabel xxiv: Procentuele verschil einddatum Tabel xxv: Overzicht uitkomsten vergelijk actuele waarden vs gesimuleerde waarden Bijlage E-Tabel xxvi: data van on-line questionnaire... I Bijlage E-Tabel xxvii: mediaanwaarden... II Bijlage E-Tabel xxviii: Parameterwaarden... II Bijlage E-Tabel xxix: SPSS waarden... III Bijlage E-Tabel xxx: SPSS waarden... IV Bijlage E-Tabel xxxi: SPSS waarden... V Bijlage E-Tabel xxxii: SPSS waarden... VI Bijlage F-Tabel xxxiii: Waarden Monte Carlo runs... I

90 Bijlage A: PPS-projecten Aankomende projecten: Bron: januari 2010 I

91 Bijlage B: Toelichting concept simulatiemodel Procesopbouw Om een idee te geven hoe het simulatieproces verloopt, is hieronder een figuur uit een artikel (Horri, e.a., 2005.) geplaatst. Het artikel is geschreven om met behulp van het Stanfordmodel organisatorische cultuurverschillen aan te tonen. Met behulp van een aantal unieke en relevante gedragsparameters is het model in staat uitspraken te doen over doorlooptijd, kosten en risico s. Het simulatiemodel kent aan alle parameters een wegingsfactor toe. Deze wegingsfactoren zijn samengesteld door het ontwikkelteam van Stanford en niet openbaar. Aan de hand van de mix van parameters, is het simulatiemodel in staat organisatorische risico s van een project te kwantificeren. Om deze risico s te reduceren, kunnen er uit de analyses, conclusies worden getrokken waarmee doorlooptijdverkorting van het project mogelijk is. Bijlage A-Fig. 1: Procesmodel van het simulatiemodel. Bron: Horri e.a., Horri e.a. (2005) hebben twee organisaties uit landen vergeleken die een van elkaar onderscheidende organisatiecultuur hebben. Deze landen zijn de Verenigde Staten en Japan. I

92 Teamomschrijving Als teamomschrijving is de (1) Organisatiecultuur gekoppeld aan de parameters Hiërarchie van de organisatie en de (mogelijke) aanwezigheid van Bureaucratie. Daarnaast is het (2) Gedrag op de werkvloer als een culturele waardefactor genomen. Hiervoor zijn twee parameters gekozen: het Beslisproces en de Wijze van overleg. Voor het beslisproces is gekeken of het een individuele beslissing of een groepsbeslissing betreft. Voor de wijze van overleg is gekozen voor parameters die een bilateraal overleg of groepsoverleg vertegenwoordigen. Projectomschrijving Voor de projectomschrijving is de onderverdeling naar (3) Moeilijkheidsgraad van de opdracht en de (4) Teamervaring, opgesteld. De moeilijkheidsgraad van de opdracht wordt gekwantificeerd aan de hand van vier parameters. Deze parameters zijn: groepering van de uit te voeren opdrachten; opeenvolging van uit te voeren opdrachten; onafhankelijk uit te voeren opdrachten en zeer intensief met elkaar verweven uit te voeren opdrachten. Elk van de vier subkeuzes (organisatie cultuur, gedrag op de werkvloer, moeilijkheidsgraad van de opdracht en teamervaring), geven meerdere uitkomsten door de keuzemogelijkheden aan parameters. De parameter Teamervaring is gedestilleerd uit een groot aantal projecten. Simulatiematrix De simulatiematrix wordt uiteindelijk gevormd door 48 punten. Uit deze matrix is het model in staat organisatorische risico s te benoemen II

93 Bijlage C: Mailverkeer met professor R. Levitt, Stanford University Dear professor Levitt, I am a student Business Studies at the University of Amsterdam and writing a thesis about Organizational Risks. Via Mark Triesch I got in contact with SimVision and got access to the software via a student license from epm. One of my supervisors at the university, there are two of them assigned to me, asked me to try to get hold of the original questions which the Virtual Design Team used in the eighties to determine the correct value of the different parameters of the model. He is the opinion that I only will be able to do a validation on the model with these original operationalizations. I told him about the range values which are mentioned in the manual but he insisted to try to get hold of the original questions. I went through various articles to look for the above questions but was not able to find them. My questions to you are: Did the Virtual Design Team operationalized the questions to get the parameter values, is there an article (or perhaps more than one) where these questions are mentioned or is this information classified? Awaiting your answers, with kindly regards, Andre Kik PS: I also asked the above questions to Mark Triesch and Pat Gorman from epm but they could not supply me with an answer. Student Business Studies, University of Amsterdam, The Netherlands. Andre.kik@ampsdelft.nl I

94 Onderwerp Van Aan Re: Questions student University of Amsterdam Netherlands Raymond Levitt Cc Verzonden woensdag 20 januari :46 Dear Andre You ask an excellent question. Let me try to respond to it. The VDT model parameters were either developed by ethnographic research with real engineering project teams or regressed against real project outcome data over several years. Our emphasis was on predicting where in an organization the major work process bottlenecks were likely to occur in order to proactively redesigned the organization, rather than on making precise schedule or risk predictions. Nevertheless we wanted to use the most realistic values we could for variables like the amount of time required to deal with exceptions at different levels in the organization, the likelihood of requiring rework at different levels in the organization, etc. The values that we assigned to these variables, as well as the algorithms for deciding which kinds of items actors would prioritize when it became backlogged, and so on, were all developed through extensive ethnographic observation of project teams at Fluor Daniel on the Ashland oil refinery, at Norske Veritas in Norway on the Statfjord subsea oil module project, at Pacific Gas and Electric on a series of post-earthquake reconstruction projects in 1989 and others. This is documented in the PhD dissertation of Geoff Cohen, and in the paper: Jin, Yan, and Raymond E. Levitt, The Virtual Design Team: A Computational Model of Project Organizations, Journal of Computational and Mathematical Organization Theory 2 (3), Fall, 1996, pp The key model parameters that had to be carefully calibrated by a kind of informal regression analysis were the second-order effects on verification failure probabilities of missing meetings, failing to do adequate rework, or failing to respond to a coordination request from a colleague. These were done by experimenting with different values for the second-order adjustments to verification failure probability and adjusting them to fit historical data on each of 10 different projects that were used to calibrate SimVision. The values for these parameters are the proprietary intellectual property of epm, the company which licensed the software from Stanford University. After using the software for many years in both academic and professional settings, we believe that the calibrations are reasonably good and work well for the purposes for which the software is intended. If you or your colleagues would like to do additional calibration I can inquire whether the company which licenses the SimVision software from Stanford is willing to share its "behavior files" with you in exchange for you being willing to provide your results back to them when you do additional calibration. I hope that this information is helpful. II

95 Bijlage D: Parameterwaarden Opbouw vragenlijst Om de juiste waarden voor de parameters te krijgen, is aan een aantal projectmedewerkers die sleutelposities binnen het project hebben of hebben gehad, een vragenlijst voorgelegd. De vragenlijst en bijbehorende data zijn als volgt opgebouwd: Bij elke parameter wordt als eerste een toelichting gegeven, gevolgd door de bereikwaarden van de parameter. Met het schuifje moet de respondent aangeven op de schaal hoe vaak de betreffende uitspraak van toepassing was op zijn of haar project. Als laatste wordt de dataverwerkingsmethodiek vermeld die leidt tot de in te stellen parameterwaarde. De onderzoekers op Stanford blijven alle parameters valideren maar de laatste berichten zijn dat de parameters een redelijk stabiele fase hebben bereikt. Gevalideerde schaal Met twintig stellingen worden de diverse parameterwaarden bepaald uit de gekozen waarde op een gevalideerde schaal. Er is gekozen voor eenduidigheid in vraagstelling omdat daarmee de responszekerheid wordt vergroot. De bedoeling is dat een projectmedewerker zijn of haar project in gedachten neemt en voor elke stelling aangeeft in hoeverre deze stelling van toepassing was tijdens het betreffende project. De waarden van de schaal zijn: (1) nooit; (2) zelden; (3) soms; (4) vaak; (5) zeer vaak; (6) zeer zeer vaak; 7) voortdurend, waarbij de schaal loopt van 0 tot 100. Met -activiteit- wordt hier een taak of werkopdracht bedoeld als onderdeel van een eindresultaat. Tekst toelichting on-line vragenlijst Om de juiste waarden voor de parameters te krijgen, wordt aan een aantal projectmedewerkers die sleutelposities binnen het project hebben of hebben gehad, een lijst met stellingen voorgelegd. De antwoorden op de volgende lijst met stellingen gebruik ik om de parameters van een risico assesmentmodel vast te stellen. Dit model pas ik toe op uw project. De verdeling van de antwoordmogelijkheden over de schaal is gebaseerd op waarnemingen van een groot aantal beoordelaars (ca respondenten). Het is de bedoeling dat u per stelling aangeeft hoe vaak de stelling op uw project van toepassing was. Wanneer ze op geen enkel moment van toepassing was, klikt u tweemaal op de positie van de nulwaarde van de schaal. In het kadertje verschijnt in dat geval de waarde -0-. De term -activiteiten- in deze lijst verwijst naar taken of werkopdrachten in relatie tot een beoogd resultaat. I

96 Bijlage E: Verzameld databestand Dit onderzoek betrekt data van vier deelpopulaties met en totaal van 23 respondenten. Meerdere sleutelfiguren van elke deelpopulatie is via internet een vragenlijst met twintig stellingen voorgelegd. Van de 23 respondenten zijn 13 volledige vragenlijsten geretourneerd. Twee respondenten lieten weten niet met de vragenlijst overweg te kunnen en zijn na beantwoording van een aantal vragen gestopt. Elf respondenten hebben, ondanks een voorziening, diverse vragen overgeslagen. Dit is naar alle waarschijnlijkheid gedaan door manipulatie van de URL. Bijlage E-Tabel xxvi: data van on-line questionnaire I

97 Bijlage E-Tabel xxvii: mediaanwaarden Bijlage E-Tabel xxviii: Parameterwaarden II