KWALITEIT VAN ORGANISATIEADVIES BIJ DE RIJKSOVERHEID

KWALITEIT VAN ORGANISATIEADVIES BIJ DE RIJKSOVERHEID prof.dr. L.I.A. de Caluwé drs. A. Stoppelenburg april 2002 Centre for Research in Consultancy (CRC) Postdoctorale Opleiding Management Consultant Faculteit der Economische Wetenschappen en Bedrijfskunde Vrije Universiteit De Boelelaan 1105 1081 HV Amsterdam tel. 020 444 6075 fax 020 444 6170 pdo_mc@feweb.vu.nl www.feweb.vu.nl/mancon/ vrije Universiteit amsterdam

KWALITEIT VAN ORGANISATIEADVIES BIJ DE RIJKSOVERHEID INHOUDSOPGAVE: Pagina Voorwoord 4 1. Samenvatting 5 2. Aanleiding en organisatie van het onderzoek 7 2.1 Aanleiding voor het onderzoek 7 2.2 Organisatie van het onderzoek 9 3. Relevante literatuur 10 3.1. Verloop en fasen in adviesprocessen 10 3.2. Soorten werk van adviseurs 11 3.3. Effectiviteit van adviseurs 12 4. Onderzoeksopzet 14 4.1. Overwegingen ten aanzien van de onderzoeksopzet 14 4.2. Fasering van het onderzoek 18 4.3. Gang van zaken tijdens het onderzoek 18 4.3.1. Selectie van adviesopdrachten 18 4.3.2. Dossierstudie 20 4.3.3. Interviews 21 4.3.4. Analyse en rapportage 24 5. Concretisering van het onderzoek 25 5.1. Vraagstelling en analysekader 25 5.2. Methoden van onderzoek 27 5.2.1. Steekproefkader en steekproeftrekking 27 5.2.2. Dossierstudie 28 5.2.3. Interviews: criteria en semi gestructureerde vragen 29 5.2.4. Vignets en ex pertbeoordeling 32 5.2.5. Verwerking van gegevens van de drie databronnen 33 5.3. Overzicht van de adviesopdrachten in kengetallen 33 Kwaliteit van organisatieadvies bij de rijksoverheid

INHOUDSOPGAVE: Pagina 6. Bevindingen 37 6.1. Onderzoeksvraag 1: Soorten werk 37 6.2. Onderzoeksvraag 2: Verwachtingen 41 6.2.1. Algemeen 41 6.2.2. Deze opdracht 45 6.3. Onderzoeksvraag 3: Beoordeling 47 6.4. Overige bevindingen 50 6.4.1. Kwantitatieve bevindingen uit interviews 51 6.4.2. Overige kwalitatieve bevindingen 55 6.4.3. Afwijkende casussen 59 6.4.4. Opvallende punten uit interviews 61 6.5. Verbanden 61 7. Conclusies en aanbevelingen 65 7.1. Conclusies 65 7.2. Aanbevelingen 66 Bijlagen: a. Lijst van tabellen 68 b. Lijst met figuren 69 c. Lijst van founders van het onderzoek 70 d. Gebruikte formats 71 e. Beschrijvingen van de steekproeftrekkingen 81 f. Vignets: beschrijvingen van alle opdrachten 87 g. Kwantitatieve analyses 117 h. Validiteit van het onderzoek 121 i. Relevante literatuur 126 Kwaliteit van organisatieadvies bij de rijksoverheid 3

VOORWOORD In dit rapport presenteren we de bevindingen en conclusies van een uniek onderzoek. Het unieke karakter komt tot uiting op een paar manieren. Het initiatief voor dit onderzoek is genomen door zowel cliënten als organisatieadviseurs. Beiden willen inzicht krijgen in de feitelijke gang van zaken. Dat leidt tot de unieke formule dat 10 adviesbureaus opdrachtgever zijn en de rijksoverheid meewerkt door alle benodigde informatie beschikbaar te stellen. De opzet van het onderzoek is bijzonder: de dossiers van 56 representatieve organisatieadviesopdrachten zijn bestudeerd; de opdrachtgevers en adviseurs zijn geïnterviewd; daarnaast zijn betrokkenen geïnterviewd. Er zijn dan ook gegevens beschikbaar gekomen die uniek zijn. Wij kennen geen onderzoek (ook niet in het buitenland), dat over dergelijke robuuste gegevens kan beschikken. Om alle gegevens te verzamelen is waar speurwerk nodig geweest om de juiste personen te vinden en afspraken met ze te maken. De doorlooptijd van het onderzoek was dan ook aanzienlijk langer dan wij hadden gedacht. Er zijn vele mensen op een af andere manier betrokken geweest bij dit onderzoek. Dat zijn de Secretarissen Generaal, de bureaus S.G. van alle departementen die samen met financiële afdelingen lijsten voor ons hebben opgesteld van adviesopdrachten, de 161 opdrachtgevers, betrokkenen en adviseurs die door ons zijn geïnterviewd, de founders, de tien adviesbureaus die het onderzoek hebben begeleid en gefinancierd, de wetenschappelijke commissie en de student assistenten die het onderzoek hebben begeleid, en de medewerkers die afspraken hebben gemaakt en de rapportages hebben verzorgd. Wij vonden het een eer om dit onderzoek te mogen doen. We hopen dat dit onderzoek een bijdrage kan zijn aan beter inzicht in en transparantie van organisatieadvies bij de Rijksoverheid. Amsterdam, 15 april 2002. Léon de Caluwé Annemieke Stoppelenburg Kwaliteit van organisatieadvies bij de rijksoverheid 4

1. SAMENVATTING Kwaliteit van organisat ieadvies bij de Rijksoverheid In dit onderzoek is nagegaan wat organisatieadviseurs doen en hoe opdrachtgevers en adviseurs denken over de kwaliteit van organisatieadvies. In dit onderzoek zijn drie vragen onderzocht: 1. welke soorten werk doen organisatieadviseurs? 2. wat zijn de verwachtingen en criteria die opdrachtgevers en adviseurs hanteren? 3. wat levert het op: wat is de effectiviteit? Op alle departementen zijn lijsten opgesteld van organisatieadviesopdrachten die in 1999 en 2000 zijn afgerond. Daarbij is andere zakelijke dienstverlening (uitbesteden; uitzendwerk; wervingen en dergelijke) niet in de lijst opgenomen. Voor 12 departementen is een representatieve groep van opdrachten getrokken. Van deze opdrachten zijn de dossiers bestudeerd, zijn de opdrachtgever en opdrachtnemer geïnterviewd en (in relevante gevallen) één of twee betrokkenen. Totaal zijn 56 opdrachten bestudeerd en zijn 161 interviews gehouden. Adviseurs doen vooral (gezamenlijk 86%) vier soorten werk. Het zijn expertadvies (met een sterke inhoudelijke component), evaluatie (met een sterke beoordelende component), ex pertadvies met processtappen (inhoud en proces zijn in evenwicht) en begeleiding (sterk nadruk op procesbijdragen). De belangrijkste criteria die door opdrachtgevers, betrokkenen en adviseurs worden gehanteerd voor de kwaliteit van advieswerk liggen op het vlak van de uitkomst van het adviesproces en de relatie tussen opdrachtgever en adviseur. De minst belangrijke criteria hebben te maken met de werkwijze in het adviesproces. De totaalindruk van de drie groepen respondenten over alle opdrachten krijgt het rapportcijfer 7,1. Opdrachtgevers geven gemiddeld een 6,8; adviseurs geven gemiddeld een 7,6. Betrokkenen geven gemiddeld een 6,8. Over het verloop van de adviesopdracht is 75% van de opdrachtgevers tevreden. 10% is ontevreden; 15% is redelijk tevreden. Er wordt geleverd conform afspraak. Adviseurs zijn hier iets positiever dan opdrachtgevers. Bij opdrachten die als goed zijn beoordeeld is er sprake van goede afstemming tussen opdrachtgever en adviseur, er is helderheid over wat men wil hebben en zal doen, er is goed samenspel en vertrouwen en er zijn heldere rollen. Faalfactoren zijn hier het (negatieve) spiegelbeeld van. Kwaliteit van organisatieadvies bij de rijksoverheid 5

Beelden achteraf tussen opdrachtgever en adviseur stemmen overeen. Als de beelden in het begin uiteenlopen en niet worden verhelderd, is de kans op succes gering. Opdrachten met een heldere vraag, leveren de hoogste beoordelingen op. Aanbevolen wordt om een uniforme checklist te ontwikkelen die bij de start van adviesopdrachten wordt gebruikt door opdrachtgevers en adviseurs om de verwachtingen goed af te stemmen. Ook wordt aanbevolen om het opdrachtgeverschap en opdrachtnemerschap verder te professionaliseren. Gedacht wordt aan opleidingen en coaching en kennis en ervaringsuitwisseling. Ook kan de selectie en contractering van het advieswerk worden verbeterd. Kwaliteit van organisatieadvies bij de rijksoverheid 6

2. Aanleiding en organisat ie van het onderzoek 2.1 Aanleiding voor het onderzoek Op initiatief van het SG beraad en een aantal grote adviesbureaus dat regelmatig opdrachten voor de rijksoverheid uitvoert, heeft in juni 2000 een bijeenkomst plaatsgevonden. In die bijeenkomst werd onder meer stilgestaan bij de mogelijkheden om, ondanks de onderling relatief gunstige beoordeling van de kwaliteit van advieswerk voor de rijksoverheid, antwoorden te geven op de regelmatig terugkerende publieke discussie over de inschakeling van adviseurs. Eén van de suggesties was een wetenschappelijk onderzoek te doen naar de kwaliteit van advieswerk bij de rijksoverheid en de mogelijkheden tot kwaliteitsborging. Een aantal bureaus heeft dit initiatief gestimuleerd (founders, zie Bijlage c) en met medewerking van het SG beraad een opdracht gegeven aan het Center for Research on Consultancy (CRC) van de Postdoctorale Opleiding Management Consultant, Faculteit der Economische Wetenschappen en Bedrijfskunde van de VU, prof.dr. L.I.A. de Caluwé. Het onderzoek heeft tussen februari 2001 en maart 2002 plaatsgevonden. Het onderzoek is begeleid door een klankbordgroep bestaande uit vertegenwoordigers van de founders. Een groep bestaande uit twee vertegenwoordigers van de bureaus en twee vertegenwoordigers van het SGberaad heeft namens de founders en het SG beraad het verloop van het onderzoek nauw gevolgd. Een wetenschappelijke commissie heeft toegezien op de wetenschappelijke kwaliteit van het onderzoek (zie paragraaf 4.4). De betaling door de bureaus is vooraf geschied om onafhankelijkheid van het onderzoek te waarborgen. Transparantie en degelijk onderzoek is noodzakelijk om een aantal weerkerende vragen met betrekking tot nut en vertrouwelijkheid van organisatieadvies te beantwoorden. Opdrachtgevers en opdrachtnemers zijn gezamenlijk gebaat bij degelijk onderzoek op basis waarvan de kwaliteit van de advieswerkzaamheden en de gezamenlijke sturing daarop verbeterd kan worden. Wordt er van de kant van de opdrachtgever of klant op een effectieve manier omgegaan met de vraag om advies: is de vraag en/ of het probleem wel goed gedefinieerd? Kwaliteit van organisatieadvies bij de rijksoverheid 7

Is de wisselwerking tussen opdrachtgever en opdrachtnemer tijdens de uitvoering optimaal en conform de bedoelingen? Wordt er geëvalueerd en krijgt men wat men heeft gevraagd? Heeft het advies die werking en impact die was verwacht, afgesproken of gevraagd? Van de kant van adviseurs en adviesbureaus leven ook vragen: leveren wij wel de goede kwaliteit? Is het proces transparant genoeg zodat de adviseurs ook een bijdrage kunnen leveren aan een goede afstemming van vraag en aanbod? Moeten adviseurs niet kritischer zijn bij het wel of niet aannemen van werk? Is de evaluatie en waardering van het werk van adviseurs wel zorgvuldig en objectief genoeg? Voorop moet worden gesteld dat er grote verwarring heerst over wat er allemaal onder het label organisatieadvies of 'consultancy schuilgaat: het herbergt een enorm scala van werkzaamheden en activiteiten, waarvan het nuttig is om het in kaart te brengen en te ontrafelen. Wat voor soort werk zit er onder die term, wat is de kwaliteit ervan en hoe ( via welke criteria) kun je dat werk beoordelen? In Nederland is nauwelijks wetenschappelijk onderzoek gedaan naar bovenstaande vragen. De aard en intensiteit van het debat maken dat echter wel nodig: op die manier kunnen op een valide en betrouwbare manier data en trends worden verzameld die het debat en mogelijke conclusies kunnen onderbouwen. Tegen die achtergrond is besloten de volgende onderzoeksvragen te beantwoorden: 1. Welk soort werk wordt verstaan onder organisatieadvieswerk of consultancy: zowel in termen van definities uit de bestaande literatuur, als ook het verzamelen van empirische gegevens van soorten werk? 2. Hoe staat het met de verwachtingen ten aanzien van de kwaliteit van dat advieswerk: wat verwachten opdrachtgevers of klanten? Welke criteria hanteren ze? Welke criteria hanteren adviseurs? 3. Wat levert het op? Wat is de beoordeling van de kwaliteit? Niet alleen in termen van klanttevredenheid, maar ook in termen van: was het state of the art in professionele zin? Wat hebben we ervan geleerd? Wat is de impact op de organisatie? Wat levert het op langere termijn op? 4. Wat zijn aanbevelingen waardoor opdrachtgevers en opdrachtnemers beter kunnen sturen op het verbeteren van de kwaliteit? Kwaliteit van organisatieadvies bij de rijksoverheid 8

2.2 Organisat ie van het onderzoek Het onderzoek is uitgevoerd onder leiding van prof. dr. L.I.A. de Caluwé door het Centre for Research in Consultancy van de Vrije Universiteit. De meewerkende onderzoeker is een onafhankelijk adviseur, mevr. Drs. A. Stoppelenburg. Rondom het onderzoek is een klankbordgroep ingesteld van founders. De klankbordgroep heeft advies gegeven bij de nadere detaillering van het onderzoek. De klankbordgroep bestaat uit de volgende personen: mr. R.J. Haakmeester van Ordina Public bv, ir. H. Abeln van Twynstra Gudde, mr.drs. A.J.M. van der Putte van KPMG Consulting, ir. C.J.W. Landré van Andersson Elffers Felix, mevr. A. van Rooij van CMG Public Sector divisie management consultancy, drs. W. Zoeteweij van PwC Consulting bv, drs. L. Geut van Berenschot bv, J.H.M. Simons van Cap Gemini Ernst & Young Nederland bv, drs. J. Streefkerk mpa van GITP International bv, drs. E. J. Mulder van Het Ex pertisecentrum. De heren Geut en Abeln vertegenwoordigen de founders in het contact met de onderzoekers. Een wetenschappelijke commissie bestaande uit prof. dr. J.J. Boonstra (Universiteit van Amsterdam), prof. dr. P.G.W. Jansen (Vrije Universiteit, Amsterdam) en prof. dr. E. ten Heuvelhof (Technische Universiteit, Delft) heeft geadviseerd over de opzet, analyse van data en rapportage. Zij hebben de wetenschappelijke kwaliteit gewaarborgd. Namens het College van SG s hebben drs. P.W.A. Veld (psg SZW) en mevr. drs. M. Sint (SG VROM) als klankbord gediend voor de nadere detaillering van het onderzoek en de monitoring van de voortgang. Daarnaast heeft een ex pertgroep (zie paragraaf 5.2.4) alle soorten werk beoordeeld. Kwaliteit van organisatieadvies bij de rijksoverheid 9

3. Relevant e lit erat uur Voor het onderzoek zijn drie theoretische modellen gebruikt. Die worden beschreven in de volgende paragraaf. Het is een model over het verloop van adviesopdrachten (3.1), indeling in soorten werk van adviseurs en dimensies daarin (3.2) en soorten en niveaus van effectiviteit van advieswerk (3.3). 3.1 Verloop en f asen in adviesprocessen Het gehanteerde model over verloop en fasen in adviesprocessen is ontleend aan Kubr (1996) en Block (1981). Kubr onderscheidt vijf fasen bij opdrachtverloop. De contactfase ( entry ), waarbij de contact en contractvorming tussen adviseur en cliënt(systeem) plaatsvindt. Deze fase resulteert in een opdracht/ contract of niet. De volgende fase is de diagnosefase, waarin het probleem wordt verkend, gegevens worden verzameld en er een gezamenlijk beeld ontstaat op de problematiek. In de fase daarna worden oplossingen ontwikkeld, alternatieven afgewogen en beslist over een aanpak. De vierde fase is de implementatiefase waarin de betrokkenheid van de adviseur kan variëren: van niets naar sterke betrokkenheid. De vijfde fase is de afsluiting, evaluatie, eventuele follow up en/ of rapportage. Block sluit hier sterk op aan. Hij onderscheidt: (1) entry and contracting, (2) data collection and diagnosis, (3) feedback and decision to act, (4) implementation en (5) ex tension, recycle or termination. Deze indeling in fasen is gebruikt voor de samenvattende opdrachtbeschrijvingen. Wat is er in elk van de vijf fasen gebeurd? Bijvoorbeeld: Fase 1: Wat was de vraag van de opdrachtgever? Wat is de definitieve probleemstelling in de offerte of opdrachtbrief? Hoe en hoe frequent is er gecommuniceerd over de adviesvraag? Fase 2: Hoe zijn gegevens verzameld? Wie heeft dat gedaan? Hoe zijn ze teruggekoppeld? Is het op papier gezet? Wie zijn betrokken? Uiteraard kan het voorkomen dat een fase niet is uitgevoerd. Dat kan overigens alleen fase 2 (diagnose) of 4 (implementatie) zijn. In dat geval wordt die niet beschreven. De andere fasen komen altijd voor. Kwaliteit van organisatieadvies bij de rijksoverheid 10

3.2 Soort en werk van adviseurs Het categoriseren van werk van adviseurs kan waarschijnlijk het beste worden gedaan door een aantal essentiële dimensies te onderscheiden. We hebben de volgende dimensies opgespoord: a) mate van directief en non directief handelen van de consultant. Kubr (1996) onderscheidt op deze dimensie acht verschillende activiteiten en rollen van adviseurs, variërend van: vragen stellen voor reflectie (ex treem non directief) tot het voorstellen van richtlijnen of overtuigen (ex treem directief). b) mate waarin een vooraf geëx pliciteerde methode wordt gevolgd. Volgt de adviseur een stappenplan of fasen? In hoeverre is dat van tevoren vastgelegd? Of wordt er niet volgens een methode gewerkt? c) mate van samenwerking tussen de adviseur en het cliëntsysteem. Wie doet het werk, in welke verhouding en wat doet de adviseur, wat het cliënt(systeem)? d) wat is de globale schatting van de tijdsbesteding in de opdracht van de adviseur(s) en cliënt over activiteitencategorieën als: praten, denken, analyseren, schrijven, interviewen, lezen, informatie verzamelen. e) welke van de tien manieren om consultancy te doen is van toepassing en in welke mate. Kubr (1996) onderscheidt deze tien: providing information, providing specialist resources, establishing business contacts and linkages, providing ex pert opinion, doing diagnostic work, developing action proposals, improving systems and methods, planning and managing organizational changes, training and developing management and staff, providing personal counseling. Daarnaast zijn er overzichten van Quinn (1988), Cummings & Worley (1993) en Doppler & Lautenburg (1996). Zoals reeds eerder gesteld is dit onderzoek mede bedoeld om langs empirische weg meer zicht te krijgen op soorten van werk van adviseurs. Vandaar dat een ordening vooraf met enige relativiteit moet worden bekeken. Het onderzoek is erop gericht proefondervindelijk vast te stellen of de genoemde dimensies de essentiële zijn en of daarbij voldoende gegevens gevonden kunnen worden. Kwaliteit van organisatieadvies bij de rijksoverheid 11

3.3 Ef f ect iviteit van adviseurs Er zijn drie publicaties gevonden die hebben geholpen effectiviteitscriteria m.b.t. organisatieadvieswerk te definiëren. Eén gaat over niveaus van effectiviteit en twee gaan over soorten effectiviteit. Phillips (2000) onderscheidt zes performance indicators voor adviseurs. Hij onderscheidt ze in niveaus. Type of data Satisfaction/ reaction Learning Implementation/ application Business impact ROI Intangible benefits Description Measures the satisfaction/reaction directly involved in the consulting intervention Measures the actual learning taking place for those individuals who must implement or support the process Measures the success of implementation and the utilization of the consulting intervention solution Measures the change in the business impact measures directly related to the consulting intervention Measures the actual cost versus benefits of the consulting intervention Measures important intangible benefits not utilized in the benefitcost formula ( knowledge base, job satisfaction, work climate, cooperation, customer complaints, decisiveness etc.) Tabel 3.3.1 Performance indicat oren voor adviseurs Deze indeling in niveaus achten wij bruikbaar. Op elk van de niveaus is het mogelijk om gegevens of meningen te verzamelen. Elk van de niveaus geeft een dimensie aan het begrip effectiviteit. De niveaus Business impact en ROI lijken op het eerste gezicht wat minder bruikbaar voor een overheidsomgeving. Niettemin veronderstellen we dat vragen als: wat heeft het voor de organisatie en het werk wat jullie doen betekend? en maak eens een kosten/ baten analyse zinvol zijn in het licht van de effectiviteit van adviseurs. Een andere bruikbare indeling is die naar soorten van effectiviteit. In een nog steeds actueel artikel van Quinn en Rohrbaught (1983) zijn op empirische wijze clusters van effectiviteitscriteria vastgesteld. Door managers te vragen naar criteria die gelijkenis vertonen hebben zij vier clusters van effectiviteitscriteria gevonden. Deze vier clusters komen overeen met drie clusters uit het zogenaamde kleurenmodel (Caluwé,1998). De effectiviteitscriteria hebben betrekking op effectiviteit van organisaties (Quinn en Rohrbaught), op werkingsgebieden van veranderingsprocessen (is ook effectiviteit), maar zijn Kwaliteit van organisatieadvies bij de rijksoverheid 12

eigenlijk moeiteloos over te brengen naar effectiviteit van (interventies van) adviseurs. De wijze waarop Quinn heeft onderzocht spreekt aan: hij heeft uit de literatuur een nagenoeg complete verzameling van mogelijke effectiviteitscriteria gehaald, die elk op een kaart gezet en managers een sorteeroefening laten doen: welke effectiviteitscriteria vind ik belangrijk en stuur ik op en welke niet?. Vervolgens heeft Quinn criteria geclusterd via factoranalyse. Dat leverde vier clusters op van families van criteria. De modellen van De Caluwé zijn ontstaan op grond van literatuurstudie en praktijkervaringen. Ze zijn niet empirisch getoetst. Het blijkt goed mogelijk om een vernieuwde groslijst van effectiviteitscriteria te maken op grond van bovenstaande literatuur. Deze lijst kan dienen om opdrachtgevers en opdrachtnemers van adviesopdrachten te vragen: welke criteria vind ik belangrijk? ; welke vind ik van toepassing op deze adviesopdracht? en in welke mate is aan dit criterium voldaan?. Zo brengen wij op empirische wijze in kaart waar adviseurs en opdrachtgevers op letten, de onderlinge verschillen, bij welk soort werk welke effectiviteitscriteria blijkbaar passen en in welke mate ze voldoende worden bereikt. Kwaliteit van organisatieadvies bij de rijksoverheid 13

4. Onderzoeksopzet In het onderzoek is het van belang evenwicht te vinden tussen voldoende zorgvuldigheid (voldoende valide gegevens en meningen) en een voldoende overzicht van de kaart van adviesopdrachten. Dit vereist een zorgvuldige procedure van selectie, beschrijving, beoordeling, gegevensverzameling, interviewen en categorisering. 4.1 Overwegingen t en aanzien van de onderzoeksopzet Ingang via de klant In dit onderzoek is er voor gekozen om primair via de ontvanger van het advies en het advieswerk in te gaan op de vraagstukken. Verondersteld is dat de klant/ opdrachtgever er minder belang bij heeft een waardeoordeel te geven. Hij is ontvanger van het advies en kan vanuit die positie belangrijke informatie geven over de mate van tevredenheid en vooral over de doorwerking van het advieswerk in de eigen organisatie (de impact). De mogelijkheid om onderzoek uitsluitend te verrichten onder adviseurs of via adviesbureaus is door ons verworpen op grond van veronderstelde nadelen: adviseurs hebben misschien de neiging om de kwaliteit van het werk rooskleuriger af te schilderen. Mogelijk hebben zij, zelfs onbedoeld, een subjectief beeld van het werk en het effect ervan. In het onderzoek is derhalve de klant/ opdrachtgever als primaire ingang te hanteren en vanuit het oordeel uit de professie mee te nemen door de betrokken adviseur(s) naar hun oordeel te vragen. De weging van beide oordelen heeft indicaties van kwaliteit gegeven en het mogelijk gemaakt verschillen op het spoor te komen. Post mortem evaluatie In het onderzoek is er voor gekozen adviesopdrachten te beschrijven en te evalueren die reeds zijn afgerond. Dit maakt het mogelijk om door een proces van reconstructie het totale opdrachtverloop (incl. de contactlegging, acquisitie, contract, opdrachtverloop, afronding, evaluatie) te beschrijven. Daarnaast is het ook mogelijk om tevredenheid, wat er is geleerd en de impact vast te stellen. Vanuit dit gezichtspunt zijn opdrachten die bij de start van het onderzoek enige maanden tot zes maanden geleden zijn afgerond het beste. Verder terug zal het moeilijk worden om de relevante opdrachtgever en opdrachtnemer op te sporen en zullen vertekeningen in het geheugen of de Kwaliteit van organisatieadvies bij de rijksoverheid 14

herinnering een te grote rol gaan spelen. Gekozen is voor opdrachten die in 1999 en 2000 zijn afgerond. Dossierstudie Een goede en objectieve manier om de opdracht te reconstrueren is om het totale opdrachtdossier te bekijken en een samenvatting te maken van alle relevante aspecten van het verloop van de adviesopdracht. In zo n dossier kunnen de verschillende fasen in het adviesproces worden gereconstrueerd, kunnen de gewenste gegevens worden opgetekend en eventuele markante punten worden opgespoord. Interviews Een manier om gegevens te krijgen over het effect van de adviesopdrachten is om opdrachtgevers/ klanten te vragen naar verschillende aspecten van effectiviteit. Het gaat dan om tevredenheid, maar ook om wat er geleerd is en om de impact op de organisatie en op de langere termijn. Teneinde de objectiviteit (beter: intersubjectiviteit) te verhogen en ook een ander perspectief in te brengen naast dat van de opdrachtgever zijn aanvullende interviews gehouden met andere betrokkenen dan de directe opdrachtgevers uit de cliëntorganisatie. De opdrachtnemer/ adviseur is ook geïnterviewd op die aspecten van effectiviteit. Diepte en breedte van de studie Om de onderzoeksvragen te kunnen beantwoorden is het nodig om de adviesopdrachten met voldoende diepgang maar niet en detail te bestuderen. Zo moet over iedere opdracht in het onderzoek gegevens worden verzameld over het totale verloop en dient er een beschrijving te zijn van de cruciale kenmerken. Van iedere opdracht hebben we gegevens uit interviews verzameld op de aspecten van effectiviteit, de toelichting daarop en voorbeelden. We hebben per opdracht een interview gehouden met de opdrachtgever, één of twee met andere betrokkenen uit de cliëntorganisatie en met een betrokken adviseur(s) (opdrachtnemer). Wat betreft de breedte is gekozen voor een steekproef van circa 50 opdrachten: dat garandeert dat toevalligheden grotendeels uitgesloten worden, dat een representatief beeld ontstaat en dat de conclusies gebaseerd zijn op redelijk grote aantallen. Dat maakt conclusies of uitspraken mogelijk als: Tachtig procent van de adviesopdrachten heeft grote impact op de Kwaliteit van organisatieadvies bij de rijksoverheid 15

organisatie of In dertig procent van de gevallen is sprake van betrokkenheid van de adviseur bij de implementatie van het advies. Alle ministeries zijn betrokken bij de steekproef. De betrouwbaarheid van het onderzoek is hoog. Dat komt door het meervoudig onderzoeksdesign, de zorgvuldige uitvoering van het onderzoek door de onderzoekers, de hoge constructvaliditeit, de hoge interne beoordelaarsvaliditeit, de hoge gelijktijdige validiteit en de hoge interne validiteit. Het onderzoek heeft ook een hoge ex terne validiteit. De generaliseerbaarheid van de uitkomsten is hoog binnen het gekozen onderzoeksdomein en binnen het steekproefkader. (zie Bijlage h voor de gedetaileerde toelichting hierop). Afbakening Het onderzoek gaat over organisatieadvieswerk. Dat betekent dat financieel advies of accountancy en belastingadvies buiten beschouwing blijven. Ook advies gericht op een specifiek inhoudelijk deelgebied sluiten we uit (bijv. bouwadvies, milieuadvies). Dergelijke advisering richt zich op een specifiek functioneel gebied, is meestal uitsluitend inhoudelijk van aard en wordt gegeven aan specialisten door specialisten. Uitbesteed werk, zoals het uitvoeren van wervingen, interim management, opleidingen en dergelijke laten we eveneens buiten beschouwing, omdat het een ander type werk is dan organisatieadvies en omdat de criteria voor en evaluatie van kwaliteit relatief eenduidig zijn, waardoor een wetenschappelijk onderzoek relatief weinig toegevoegde waarde heeft. (Is er geleverd wat besteld is?). Het onderzoek is derhalve beperkt tot een deel van de zakelijke dienstverlening. Organisatieadvieswerk is gericht op: ƒ besturings en/ of managementvraagstukken; veranderkundige vragen; implementatie vragen, ƒ waarbij (bij de start) (nog) geen besluit is genomen door de opdrachtgever over oplossingsrichtingen en keuzes daaruit (bij precieze omlijning, een uitbestedingsvraag) ƒ en waarbij het gaat om bijdragen van de adviseur aan zowel de uitkomst als het proces. Ex pertadvies valt daar ook onder, omdat de uitkomst niet van tevoren vaststaat. Beleidsadvies gericht op de kerntaken van een departement behoort ook tot de te bestuderen opdrachten. Kwaliteit van organisatieadvies bij de rijksoverheid 16

Binnen de bovengenoemde omschrijving is een groot scala aan activiteiten van adviseurs denkbaar. Dat hebben we in kaart gebracht. Door de afbakening richten we ons op organisatieadvieswerk en niet op specialistische advisering of zakelijke dienstverlening. Anonimiteit cruciaal Door het onderzoek anoniem uit te voeren is de medewerking van alle partijen gegarandeerd en is ervoor gezorgd dat zij onbevangen en objectief aan het onderzoek hebben meegedaan. Gelet op de doelstellingen van het onderzoek was het niet nodig om anders dan anoniem gegevens te verwerken en te rapporteren. Het gaat er namelijk om een kaart van advieswerk bij de Rijksoverheid te maken en daarover indicaties voor kwaliteit te geven. Derhalve waren we niet geïnteresseerd in individuele opdrachten, individuele adviseurs, bepaalde bureaus of bepaalde ministeries. Verwijzingen hiernaar worden bij dataverwerking en rapportage uitdrukkelijk vermeden. Beperkingen van het onderzoek De gekozen onderzoeksopzet leidt tot het op een zorgvuldige wijze beantwoorden van de drie centrale onderzoeksvragen. De onderzoeksopzet en gemaakte keuzes daarbinnen leiden er echter ook toe dat niet alles is onderzocht en niet alle vragen die leven over organisatieadvies bij de rijksoverheid vanuit het onderzoek onderbouwd kunnen worden. We willen dan ook enkele beperkingen van het onderzoek aangeven: ƒ De onderzoeksopzet gaat uit van binnen departementen herkenbare organisatieadviesopdrachten, d.w.z.: opdrachten die als dusdanig in allerlei (financiële en administratieve) systemen zijn te vinden. We realiseren ons dat er ook minder zichtbare adviesprocessen plaatsvinden die vaak ook grote impact hebben (boardroom advisering). Die zijn dus niet meegenomen. ƒ De onderzoekers hebben in beperkte mate naar de inhoudelijkheid van de adviezen gekeken. Er heeft door de onderzoekers geen beoordeling van de inhoudelijke kwaliteit van de geleverde adviezen plaatsgevonden. Wel is de inhoud van de opdracht bekeken en beoordeeld door de geïnterviewden. ƒ In het onderzoek is in retro perspectief gevraagd naar de waardering en beoordeling van het advies. We realiseren ons dat in het gegeven oordeel door de respondenten wellicht ook andere ervaringen verdisconteerd kunnen zijn en dat het geven van een oordeel lastig kan Kwaliteit van organisatieadvies bij de rijksoverheid 17

zijn. Als een respondent gaandeweg van gedachten is veranderd vloeit dit dan voort uit de adviesopdracht? Uitkomsten van adviesopdrachten kunnen soms bedreigend zijn voor respondenten, is het dan mogelijk onafhankelijk van je positie te oordelen over de opdracht? ƒ Het onderzoek beperkt zich tot organisatieadvies en de door de onderzoekers specifiek hiertoe opgestelde definitie. In de dagelijkse praktijk wordt er veel meer ervaren en bestempeld als organisatieadvies (zoals bijvoorbeeld ICT gerelateerde projecten en uitbestede diensten). De onderzoeksdefinitie van organisatieadvies is dus verder toegespitst dan de beleving wat als organisatieadvieswerk binnen de rijksoverheid wordt gezien en de werkdefinities die in de praktijk gehanteerd worden. 4.2 Fasering van het onderzoek In de eerste fase van het onderzoek hebben we het onderzoek gedetailleerd, het onderzoeksteam geformeerd, vijf adviesopdrachten geselecteerd voor het proefonderzoek, de formats opgesteld voor de beschrijving van adviesopdrachten en voor de interviews. In de tweede fase hebben we een proefonderzoek uitgevoerd van vijf adviesopdrachten bij twee ministeries. Het dossieronderzoek is gedaan en de beschrijvingen van de dossiers worden gemaakt. Interviews vinden plaats met de opdrachtgever en twee andere betrokkenen en de adviseur. De interviews worden geanalyseerd. Op grond van het proefonderzoek hebben we het definitieve ontwerp van het hoofdonderzoek gemaakt. De gehanteerde formats zijn licht herzien. De opzet van het onderzoek blijft zoals aangegeven in het onderzoeksvoorstel. In fase 3 zijn vervolgens ruim vijftig adviesopdrachten op alle ministeries onderzocht. 4.3 Gang van zaken t ijdens het onderzoek 4.3.1 Selectie van adviesopdrachten Ons streven is geweest om in het totale onderzoek een representatief beeld op te bouwen van de kaart van organisatieadvieswerk bij de Rijksoverheid. De Kwaliteit van organisatieadvies bij de rijksoverheid 18

selectie van te bestuderen cases is daarom van groot belang. Wij hebben de volgende werkwijze gehanteerd: Via de bureaus SG en de financiële afdelingen van de Ministeries hebben we lijsten opgesteld van organisatieadviesopdrachten die in 1999 en 2000 zijn afgerond. Samen met de door de SG aangewezen contactpersonen van het ministerie is nagegaan welke opdrachten binnen en buiten het onderzoek vallen. Overzichtslijsten Niet voor elk departement is de uitdraai uit de financiële administratie een juiste ingang om aan de benodigde gegevens te komen. Bij drie departementen moest een opgave van opdrachten per directie worden verzameld aangezien het opdrachtgeverschap en de betaalfunctie daar gedecentraliseerd zijn. Bij andere departementen werd wel gebruik gemaakt van een centrale administratie. De omvang van de lijsten verschilt sterk per departement. De lijsten variëren qua omvang tussen 650 opdrachten en 5 opdrachten over beide onderzoeksjaren. Aangezien voor het onderzoek een deelverzameling uit de administratie van belang was, moesten eerst alle voor het onderzoek niet relevante opdrachten worden verwijderd. Dit is uitgevoerd door het departement samen met de onderzoekers. We hebben dit gedaan aan de hand van de omschrijvingen van de opdracht. Bij twijfel over de omschrijving en bij twijfel of de opdracht wel of niet binnen het steekproefkader paste, hebben de onderzoekers de opdracht op de lijst gehandhaafd. Steekproeven Vervolgens is door de onderzoekers over de lijst een a selecte steekproef getrokken van vijf opdrachten per ministerie. Voor de meeste departementen hebben we aanzienlijk meer dan vijf dossiers bestudeerd alvorens we vijf adviesopdrachten konden selecteren die voldeden aan de omschrijving van organisatieadvies zoals die in het onderzoek is gehanteerd. Ministerie A B C D E F G H I J K L M Aantal keren trekken voor 5 16 8 33 14 nvt 5 17 12 1 10 7 9 6 geschikte opdrachten Tabel 4.3.1 Aantal trekkingen per departement Kwaliteit van organisatieadvies bij de rijksoverheid 19

De steekproef bestaat uit 56 adviesopdrachten. In een situatie met een steekproef van 100%, hetgeen in dit onderzoek betekent voor elk departement vijf adviesopdrachten, zou de steekproef uit 65 adviesopdrachten hebben moeten bestaan. Vanwege onderstaande redenen is de steekproef qua omvang beperkter: ƒ bij één ministerie zijn te weinig passende adviesopdrachten over de onderzoeksperiode beschikbaar; ƒ bij één ministerie zijn de onderzoekers er niet in geslaagd voldoende geschikte dossiers te vinden uit de gegenereerde lijsten; ƒ bij één ministerie wordt een tweetal cases na nadere bestudering door de onderzoekers en de uitkomsten van de interviews samengevoegd tot één case. Bij tien departementen hebben we vijf organisatieadviesopdrachten bestudeerd. Door de a selecte wijze van steekproeftrekking en de breedte van de opdrachten (56 in totaal) worden toevalligheden grotendeels uitgesloten en ontstaat een representatief beeld. 4.3.2 Dossierstudie Van de ruim vijftig op deze wijze geselecteerde adviesopdrachten onderzoeken we het dossier. Op basis van het dossier is een samenvattende opdrachtbeschrijving gemaakt volgens het format dat daarvoor in de voorbereidingsfase van het onderzoek is opgesteld (zie Bijlage d). In het algemeen waren de dossiers binnen enkele weken beschikbaar voor nadere bestudering. Soms moesten dossiers van andere vestigingen komen of soms bevonden dossiers zich nog bij de opdrachtgever of bij de betrokkenen bij een opdracht en moesten er kopieën uit de werkdossiers worden gemaakt. Een enkele keer is het voorgekomen dat geselecteerde dossiers niet snel genoeg achterhaald konden worden. De onderzoekers hebben in die gevallen steeds na een wachttijd besloten dan het dossier van de volgende opdracht uit de steekproef te bestuderen. De aangeboden dossiers waren voor het merendeel van de 56 opdrachten compleet. Dit betekent dat er voldoende informatie in het dossier beschikbaar was over de aanleiding en voorgeschiedenis van de opdracht, dat er voldoende informatie over het selectie en gunningproces beschikbaar was (indien van toepassing), dat de formele opdrachtdocumenten als offerte en overeenkomsten in het dossier zaten en dat er documenten waren over het Kwaliteit van organisatieadvies bij de rijksoverheid 20

verloop van de opdracht (rapportages, tussenrapportages, notities, verslagen, notulen etc.) Voor een tiental opdrachten is slechts de offerte van het geselecteerde bureau en/ of de formele overeenkomst beschikbaar. De onderzoekers hebben de aanvullende informatie vervolgens verworven tijdens de interviews. Door het bestuderen van het dossier zijn de onderzoekers in staat geweest een dossierbeschrijving van een opdracht op te stellen. Deze dossierbeschrijving is als uitgangspunt voor de interviews gebruikt. In de interviews is de opdrachtgevers en de adviseurs gevraagd de dossierbeschrijving te valideren, d.w.z. de door de onderzoekers opgestelde beschrijving goed te keuren. 4.3.3 Interviews De selectie van te interviewen personen vindt als volgt plaats: De feitelijke opdrachtgever wordt geïnterviewd. Dat is diegene die feitelijk en inhoudelijk betrokken is geweest bij de adviesopdracht. De feitelijke opdrachtgever wijst (indien mogelijk) twee anderen aan uit de cliëntorganisatie, die betrokken zijn geweest in de opdrachtuitvoering, bijvoorbeeld als lid van een begeleidingsgroep, stuurgroep of als eindgebruiker van het advies. Uit het dossieronderzoek kunnen hiervoor eventueel al suggesties worden gedaan. Zij worden ook geïnterviewd. Daarna wordt de betrokken adviseur geïnterviewd. Het kunnen er ook twee zijn of drie. Dan wordt het een groepsinterview. Het interview spitst zich toe op de effectiviteit van het adviestraject (zie ook Bijlage d). Er wordt een samenvattend verslag gemaakt van elk interview door de interviewer/ onderzoeker. Dit wordt niet geautoriseerd omdat het gaat om half voorgestructureerde interviews waarbij de vragen van tevoren grotendeels zijn opgesteld en details, als hiervoor aangegeven, niet relevant worden geacht. Het heeft soms veel speurwerk gevergd de toenmalige betrokken personen op te sporen. De mobiliteit onder zowel adviseurs als bij de opdrachtgevers op de departementen is hoog. Veel opdrachtgevers, adviseurs en betrokkenen hebben sinds 1999 en 2000 een nieuwe functie cq werkkring gekregen. Over het algemeen was de bereidwilligheid om mee te werken aan de interviews groot. In een beperkt aantal gevallen moesten de onderzoekers het toegestuurde achtergrondmateriaal nogmaals telefonisch toelichten en het belang van het interview benadrukken. Dit heeft uiteindelijk in alle gevallen, op Kwaliteit van organisatieadvies bij de rijksoverheid 21

één na, geresulteerd in afspraken voor interviews. In de onderstaande tabel is per opdracht te zien wie geïnterviewd zijn. Opdracht Opdracht gever Adviseur Betrokkene 1 Betrokkene 2 A1 Ja Ja Ja Ja A2 Ja Ja Ja Ja A3 Ja Ja 3 Nvt A4 Ja Ja Ja Nvt A5 Ja 1 Nvt Nvt B1 Ja Ja Ja Nvt B2 Ja Ja Nvt Nvt B3 Ja Ja Ja Nvt B4 Ja Ja Ja Ja B5 Ja Ja Ja Ja C1 Ja Ja Ja Ja C2 Ja Ja Ja Nvt C3 Ja Ja Ja Nvt C4 Ja Ja Nvt Nvt C5 Ja Ja 3 3 D1 Ja Ja Nvt Nvt D2 Ja Ja Ja Ja D3 1 Ja 1 1 D4 Ja Ja 2 Nvt D5 Ja Ja Ja Nvt E1 Ja Ja Nvt Nvt F1 Ja Ja Ja Nvt F2 Ja Ja Ja Ja F3 Ja Ja Nvt Nvt F4 Ja Ja Ja Nvt F5 Ja Ja Ja Nvt G1 Ja Ja Nvt Nvt G2 Ja Ja Ja 2 G3 Ja Ja Nvt Nvt G4 Ja Ja Nvt Nvt G5 Ja Ja 3 3 H1 Ja Ja 2 Nvt H2 Ja Ja Nvt Nvt H3 Ja Ja Ja Nvt H4 Ja Ja Ja Nvt H5 Ja Ja Ja Ja I1 Ja Ja Ja Ja Tabel 4.1 Tabel van opdracht en en gehouden int erviews Kwaliteit van organisatieadvies bij de rijksoverheid 22

J1 Ja Ja Ja Nvt J2 Ja Ja Ja Nvt J4 Ja Ja Ja Nvt J5 Ja Ja Ja Ja J6 1 Ja Ja Nvt K1 Ja Ja Ja 3 K2 Ja Ja Ja Nvt K3 Ja Ja Ja Nvt K4 Ja Ja Ja Nvt K5 Ja Ja Ja Ja L1 Ja Ja Ja Nvt L2 4 Ja Ja Nvt Nvt L3 Ja Ja Ja Nvt L5 Ja Ja Ja Ja M1 Ja Ja Nvt Nvt M2 Ja Ja Ja Ja M3 Ja Ja Ja Ja M4 Ja Ja Ja Ja M5 Ja Ja Ja Nvt Tabel 4.1 (vervolg) Tabel van opdracht en en gehouden interviews Legenda bij de tabel: Nvt betekent dat door de opdrachtgever geen namen van betrokkenen in de opdracht werden genoemd. De redenen hiervoor zijn divers: de aard van de opdracht, betrokkenen niet meer werkzaam in de organisatie, opdracht vroegtijdig gestopt waardoor geen betrokkenheid van overige leden van de organisatie is gerealiseerd, de beperkte omvang van de opdracht. Soms is er door de opdrachtgever maar één betrokkene genoemd en staat er in het vakje betrokkene 2 eveneens Nvt. Verwijzing van cijfers in de tabel: 1. respondent langdurig ziek, overleden, onvindbaar; 2. respondent weigert medewerking aan onderzoek; 3. vanwege het verzetten van afspraken wordt de deadline van het onderzoek niet meer gehaald. De sfeer in de interviews is er over het algemeen één van grote openheid en bereidwilligheid geweest te reflecteren op het verloop van de betreffende opdracht. De voorwaarde van anonimiteit heeft hier waarschijnlijk sterk toe bijgedragen. Onderzoekers is frequent gevraagd toe te lichten hoe de vergaarde informatie in het eindrapport verwerkt zou worden. Er zijn 161 interviews afgenomen. Kwaliteit van organisatieadvies bij de rijksoverheid 23

4.3.4 Analyse en rapportage De beschrijvingen en boordelingen zijn door de onderzoekers geanalyseerd. Daaruit is een kaart van organisatieadvieswerk samengesteld. De interviews zijn geanalyseerd. Daaruit worden antwoorden verkregen op de vraagstellingen omtrent de verwachtingen en de beoordeling van de kwaliteit. Op basis hiervan zijn aanbevelingen geformuleerd. Kwaliteit van organisatieadvies bij de rijksoverheid 24

5. Concret isering van het onderzoek 5.1 Vraagst elling van het onderzoek en analysekader In dit onderzoek staan we in op de volgende vragen centraal: 1. Wat voor soorten werk doenorganisatieadviseurs? 2. Hoe staat het met de verwachtingen ten aanzien van de kwaliteit van dat advieswerk: wat verwachten opdrachtgevers of klanten? welke criteria hanteren ze? welke criteria hanteren adviseurs? 3. Wat levert het op? Wat is de beoordeling van de kwaliteit? Niet alleen in termen van klanttevredenheid, maar ook in termen van: was het state of the art in professionele zin? Wat hebben we ervan geleerd? Wat is de impact op de organisatie? Wat levert het op langere termijn op? 4. Wat zijn aanbevelingen waardoor opdrachtgevers en opdrachtnemers beter kunnen sturen op het verbeteren van de kwaliteit? Het in kaart brengen van soorten werk Van 56 adviesopdrachten hebben we samenvattende beschrijvingen en validaties daarvan door opdrachtgever en adviseur. Deze 56 vallen binnen het steekproefkader. We hebben deze samenvattingen samen met het ex pertpanel opgedeeld in type opdrachten. Dit levert een indeling op van soorten werk die empirisch tot stand is gekomen. Omdat de steekproef a select is, kunnen we uitspraken doen over wat voor soorten werk zoal gedaan wordt en in welke verhoudingen. Andere gegevens uit de dossierstudies De dossierstudie geeft ook zicht op: ƒ hoe het contact is ontstaan tussen opdrachtgever en opdrachtnemer ƒ hoe de keuze voor het bureau/ adviseur tot stand is gekomen ƒ welke motieven er zijn om te kiezen voor het bureau/ adviseur ƒ de aard van het probleem/ vraagstuk ƒ doelen/ beoogde resultaten ƒ rol adviseur ƒ tijdschema, kosten ƒ globaal opdrachtverloop ƒ gebruikte methoden ƒ bijzondere momenten tijdens het opdrachtverloop (ongeplande of onverwachte gebeurtenissen) ƒ beëindiging van de opdracht: evaluatie; uitbreiding; vervolg Kwaliteit van organisatieadvies bij de rijksoverheid 25

Verwachtingen algemeen Aan de hand van de drie clusters van effectiviteitscriteria (zie voor details paragraaf 5.2.3) kunnen we overzichten opstellen van: 1. Wat opdrachtgevers over het algemeen verwachten: welke effectiviteitscriteria hanteren zij? 2. Welke effectiviteitscriteria hanteren over het algemeen adviseurs? 3. Welke effectiviteitscriteria hanteren andere betrokkenen? 4. Wat zijn de discrepanties en verschillen daartussen? En hoe is dat eventueel te verklaren? Verwachtingen specifiek 1. Welke verwachtingen hebben opdrachtgevers met betrekking tot de hier onderzochte opdrachten? 2. Hetzelfde voor de adviseurs? 3. En de andere betrokkenen? 4. Welke verschillen zien we en hoe is dat te verklaren? Zijn er verschillen tussen de verwachtingen in het algemeen en met betrekking tot deze opdrachten? Beoordeling Alle geïnterviewden geven een rapportcijfer met betrekking tot de kwaliteit van de uitvoering van de adviesopdracht. We hebben de gemiddelden daarvan uitgerekend, maar interessanter is te kijken naar de verschillen en hoe die te verklaren zijn. Voorts hebben alle geïnterviewden een afzonderlijk rapportcijfer gegeven op alle criteria die zij van toepassing achten. Daarbij kijken we ook naar gemiddelden en naar verschillen. Dat kan binnen één opdracht: waar zijn grote verschillen in beoordeling en waar niet en is dit te verklaren aan de hand van de gegevens over de opdracht of het soort opdracht? We hebben ex tremen gecategoriseerd en zijn op zoek gegaan naar oorzaken van de verschillen. Die gegevens hebben we ook voor het totaal. Mate van tevredenheid In de interviews is gevraagd naar de mate van tevredenheid over een aantal aspecten, zoals: de kwaliteit van de diagnose of analyse, de rapportage, de conclusies, de toepasbaarheid van de adviezen. Hier hebben we overzichten van gemaakt, waardoor het mogelijk is de verschillen te vergelijken en te verklaren binnen zowel één opdracht als over het geheel de inzichten van opdrachtgevers, adviseurs en overige betrokkenen. Kwaliteit van organisatieadvies bij de rijksoverheid 26

Andere effecten Ook is gevraagd naar andere effecten van de adviesopdracht, zoals: leereffecten, implementatie, impact op de organisatie, kosten/ baten en eventuele andere effecten. Financiële kaders Feiten over gemiddelde bedragen die gemoeid zijn met een adviesopdracht, gemiddelde doorlooptijd en dergelijke hebben we op een rij gezet. Overzicht van alle opdrachten We hebben een korte (anonieme) beschrijving gemaakt van alle onderzochte opdrachten, zodat er een beeld is van wat zoal is/ wordt gedaan aan organisatieadvies bij de Rijksoverheid. 5.2 Met hoden van onderzoek 5.2.1 Steekproefkader en steekproeftrekking Het steekproefkader voor dit onderzoek wordt gevormd door de definitie van organisatieadvieswerk (zie ook paragraaf 4.1 bij afbakening): Het onderzoek beslaat alle 13 ministeries (de zogenaamde buitenorganisaties als agentschappen en op afstand geplaatste onderdelen zijn buiten het onderzoek gelaten) in Nederland. Het onderzoek betreft afgerond organisatieadvieswerk over de jaren 1999 en 2000. De gehanteerde definitie in dit onderzoek past ook goed bij de algemeen aanvaarde definitie (zie onder meer Kubr, 1996; Greiner and Metzger, 1983): Management consulting is an independent professional advisory service assisting managers and organizations in achieving organizational purpose and objectives by solving management and business problems, identifying and seizing new opportunities, enhancing learning and/ or implementing changes. Kubr (1996) stelt dat een adviesopdracht altijd moet leiden tot leren bij de klant en adviseur. Binnen de bovengenoemde omschrijving is een groot scala van werk of interventies van adviseurs denkbaar. Dat hebben we onder meer in kaart gebracht. Door de afbakening richten we ons op organisatieadvieswerk en niet op andere advisering of zakelijke dienstverlening. Kwaliteit van organisatieadvies bij de rijksoverheid 27

Op basis van door het departement zelf opgestelde overzichtlijsten van afgerond organisatieadvieswerk is een a selecte steekproef getrokken van 5 adviesopdrachten per departement. De rationaliteit achter deze keuze is: a) er is een evenwichtige werklast voor de ministeries, b) er is commitment van elk ministerie, c) het is nodig om te kunnen generaliseren over de volledige rijksdienst. De ambitie van het onderzoek is niet om uitspraken te doen per ministerie. 5.2.2 Dossierstudie In de dossierstudie is een samenvattende beschrijving gemaakt van de organisatieadviesopdracht. De beschrijving volgt de verschillende fasen in het opdrachtverloop van contact tot en met evaluatie. De samenvatting wordt gemaakt op basis van het beschikbaar gestelde opdrachtdossier en eventueel in de interviews verstrekte aanvullende gegevens door opdrachtgever en adviseur(s). De dossierstudie is opgesteld door de onderzoekers. De dossierstudie is verricht aan de hand van een checklist. (zie Bijlage f) De checklist volgt de opeenvolgende fasen van een adviesopdracht: entree en contractering, verzamelen van gegevens en diagnose, feedback en plan van actie, implementatie en beëindiging opdracht. De checklist is door de onderzoekers gebruikt als lijst van mogelijke punten. Niet als een dwingende lijst van punten waaraan adviesopdrachten moeten voldoen. Validering van de dossierstudie vindt plaats tijdens de interviews met de opdrachtgever en de adviseur(s) van de betreffende opdracht. De aanvullingen of wijzigingen die tijdens het interview zijn ingebracht apart geregistreerd. Nadat alle organisatieadviesopdrachten zijn beschreven en gevalideerd vindt een categorisering plaats. In deze slag zullen de onderzoekers de opdrachten beoordelen en indelen. Dit leidt tot een typologie/ classificatie. De categorisering door de onderzoekers is gecheckt door een drietal ervaren adviseurs. Kwaliteit van organisatieadvies bij de rijksoverheid 28

5.2.3 Interviews: criteria en semi gestructureerde vragen In het onderzoek worden per geselecteerde adviesopdracht gestructureerde interviews gehouden met opdrachtgever, twee betrokkenen uit de cliëntorganisatie en adviseurs. De interviews zijn een combinatie van: a) valideren van het dossieronderzoek; b) voorgestructureerd onderzoek naar de drie clusters van criteria (om vergelijkbare gegevens te verkrijgen tussen opdrachten en tussen respondenten, bijv. opdrachtgever opdrachtnemer); c) half open interview om nuances en specifieke gegevens over de organisatieadviesopdracht te verzamelen. Validering dossieronderzoek De validering van de dossierbeschrijving vindt plaats in de interviews met de opdrachtgever en de adviseur(s), niet in het interview met de betrokkenen. De door de onderzoekers opgestelde samenvattende beschrijving van de organisatieadviesopdracht wordt in het interview getoetst bij de opdrachtgever en adviseur(s). Aanvullingen en/ of opmerkingen door opdrachtgever of adviseur(s) worden door de onderzoekers apart geregistreerd. Onderzoek naar drie clusters van effectiviteitscriteria We onderscheiden een drietal clusters van criteria: ƒ cluster formele criteria: formele afspraken en inrichting van de organisatieadviesopdracht (geoperationaliseerd in een achttal criteria). ƒ cluster inhoudelijke criteria: wat wil men bereiken met de organisatieadviesopdracht (geoperationaliseerd in vijf criteria); ƒ cluster procescriteria: hoe gaat men te werk (geoperationaliseerd in zes criteria); Formele criteria A1 A2 A3 A4 A5 A6 A7 A8 De mate waarin de doelen worden bereikt De mate waarin een oplossing is gevonden voor het probleem De mate waarin deskundigheid van de kant van de adviseur is ingebracht De mate waarin vooraf gestelde taken worden uitgevoerd De mate waarin het cliëntsysteem participeert in de opdracht De mate waarin vereiste bronnen en middelen worden gebruikt De mate waarin een gegeven tijdpad is gevolgd De mate waarin een gegeven budget is gevolgd Kwaliteit van organisatieadvies bij de rijksoverheid 29