PROJECTEVALUATIEBELEID VAN CHARITATIEVE VERMOGENSFONDSEN

Transcriptie

1 PROJECTEVALUATIEBELEID VAN CHARITATIEVE VERMOGENSFONDSEN Een probleemanalytisch onderzoek naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen Ronald A. Zoutendijk MSW studentnummer Wassenaar, 28 januari 2010 NCOI Business School MBA Masterclass Afstudeerscriptie Begeleider: dr. A.C.J.M. (Adriaan) Olsthoorn

2 PROJECTEVALUATIEBELEID VAN CHARITATIEVE VERMOGENSFONDSEN Een probleemanalytisch onderzoek naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen Masterthesis ter verkrijging van de titel van Master of Business Administration De openbare verdediging heeft te Utrecht plaatsgevonden op 28 januari , R.A. Zoutendijk Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of enige andere manier, zonder voorafgaande schriftelijke toestemming van de auteur. II

3 Woord vooraf Voordat ik in 2007 aan de MBA-opleiding begon, was ik vooral geschoold op agogisch terrein op hbo- en posthbo-niveau. Uiteraard had ik daarna in de loop van de tijd de nodige managementcursussen gevolgd, maar ik bleef behoefte houden aan een meer intellectuele uitdaging op het terrein van bestuurs- en bedrijfskunde. Dat was dan ook mijn reden om de MBA-opleiding te volgen. In het kader van de MBA-opleiding is deze masterthesis tot stand gekomen, die een onderwerp behandelt waarmee veel charitatieve vermogensfondsen in Nederland worstelen en waarvoor veel aandacht bestaat. Het betreft het evalueren van door deze fondsen gefinancierde projecten. In deze thesis wordt de relatie onderzocht tussen de strategische doelen van vermogensfondsen en het evalueren van door deze fondsen gefinancierde projecten. Met het onderzoek hoop ik een bijdrage te leveren aan het door vermogensfondsen te voeren beleid op dit terrein. Ik wil graag een aantal mensen bedanken voor hun bijdrage bij de totstandkoming van deze thesis, te weten: - het bestuur van het Sint Laurensfonds voor de bekostiging van mijn opleiding; - de docenten van NCOI Business School, in het bijzonder mijn scriptiebegeleider Adriaan van Olsthoorn, voor hun inspirerende colleges; - mijn medestudenten van NCOI Business School, voor de prettige samenwerking en het plezier tijdens en na de colleges; - mijn collega s van het Sint Laurensfonds en de collega s van andere vermogensfondsen, die een bijdrage hebben geleverd aan de totstandkoming van deze thesis; - Rien van Gendt en Rick Wagenvoort van de Vereniging Fondsen in Nederland (FIN) voor de beschikbaarstelling van literatuur en documentatie; - Theo Schuyt, hoogleraar filantropie, voor zijn deskundige commentaar op deze thesis. Last but not least wil ik mijn echtgenote Deborah Benjamin heel hartelijk bedanken voor de gelegenheid die zij mij heeft geboden om gedurende 2,5 jaar vele uren te kunnen studeren. Ook bedank ik mijn kinderen Sifra, Christian en Thomas die op concepten van deze thesis hun commentaar hebben geleverd. III

4 Samenvatting Onderwerp van deze masterthesis Het onderwerp van deze masterthesis is een probleemanalytisch onderzoek dat erop is gericht te achterhalen in hoeverre en op welke wijze projectevaluatiebeleid kan bijdragen aan strategische doelstellingen van charitatieve vermogensfondsen. Daartoe is in deze masterthesis een studie uitgevoerd naar literatuur over strategisch beleid en over evaluatie van projecten, in het bijzonder in de filantropische sector, alsmede een empirisch onderzoek naar het strategisch beleid in relatie tot de evaluatiepraktijk van enkele charitatieve fondsen. Het onderzoek levert kennis, inzichten en informatie op die nuttig zijn bij de besluitvorming over de gewenste situatie voor het Sint Laurensfonds, waar de auteur als directeur aan verbonden is, op het terrein van projectevaluatie. Methode van onderzoek Voor de beantwoording van de deelvragen op het terrein van de theorie is door middel van bureauonderzoek gekomen tot een inhoudsanalyse van tekstueel materiaal, zoals vakliteratuur en secundaire data. Het betreft literatuur van de masterclasses Strategie en Omgeving, Financieel Management en Bedrijfskundig Procesmanagement over strategisch beleid en evaluatiebeleid. Daarnaast is gebruik gemaakt van de bibliotheek van de Faculteit Sociale Wetenschappen van de Universiteit Leiden voor literatuur over evaluatie in het algemeen. Voor literatuur over evaluatie in de filantropische sector is gebruik gemaakt van het documentatiecentrum van de Bernard van Leer Foundation. Voor de beantwoording van de deelvragen op het terrein van de empirie zijn deskundigen van dertien charitatieve vermogensfondsen persoonlijk face-to-face geïnterviewd op locatie. De interviews hadden ten doel kennis en gegevens op te leveren die een antwoord geven op de gestelde vragen. De vragenlijst voor de interviews is gebaseerd op de gevonden resultaten uit het literatuuronderzoek. Bij de dataverzameling voor het empirisch onderzoek is gebruik gemaakt van methodentriangulatie, te weten een combinatie van semigestructureerde interviews en een inhoudsanalyse van tekstueel materiaal, zoals beleidsdocumenten. Resultaten en conclusies van het onderzoek Volgens de onderzochte theorie speelt projectevaluatiebeleid met betrekking tot de door deze fondsen gefinancierde projecten een grote rol in het kader van strategische doelstellingen van charitatieve vermogensfondsen. Uit het onderzoek is gebleken dat projectevaluatiebeleid van belang is voor het realiseren van strategische doelstellingen, omdat dit beleid onmisbaar is voor het bijsturen van het strategisch IV

5 beleid. Wanneer uit projectevaluatie blijkt dat bepaalde doeleinden niet worden bereikt, rijst de vraag hoe dit valt te verklaren. Een volgende vraag is hoe het project moet worden bijgestuurd om te zorgen dat de doeleinden wel worden bereikt. Projectevaluatie kan helpen zulke vragen te beantwoorden. De verschillende projectevaluatiedoelen kunnen worden samengevat in drie algemene perspectieven: - projectevaluatie om verantwoording af te leggen (bijvoorbeeld de meting van resultaten of de doelmatigheid van een project); - projectevaluatie om te ontwikkelen (bijvoorbeeld de beschikbaarstelling van evaluatieonderzoek om een interventiemethode of een project te verbeteren); - projectevaluatie om kennis te vermeerderen (bijvoorbeeld het verwerven van een diepgaander begrip van een specifiek aspect of terrein). Vier van de dertien onderzochte fondsen beschikken over een strategisch meerjarenbeleidsplan, waarin projectevaluatie wordt gezien als kritieke succesfactor voor het desbetreffende fonds. Deze fondsen leggen veel nadruk leggen op het partnerschap van projecten. Niet-financiële ondersteuning wordt van groot belang geacht naast financiële investeringen. Bij deze fondsen is de betrokkenheid bij projecten, zowel inhoudelijk als financieel, over het algemeen meerjarig van karakter. Het gaat voor deze fondsen zowel om waardetoevoeging, inzicht in maatschappelijke problematiek, beleidsontwikkeling, methodiekontwikkeling en om organisaties te versterken. Evaluaties vinden zowel vooraf, tussentijds en achteraf plaats. Vijf van de dertien onderzochte fondsen hebben een toenemende aandacht voor projectevaluatie. Bij deze fondsen vinden evaluaties over het algemeen plaats door een door de projectuitvoerder ingevuld evaluatieformulier. Deze zelfevaluaties hebben voor deze fondsen zelf een betrekkelijk gering nut. Zij worden wel gebruikt bij het beoordelen van vervolgaanvragen. Voor zover het projecten met een meerjarig karakter betreft waarmee relatief grote bedragen zijn gemoeid, wordt er meer aandacht besteed aan evaluatie. Bij middelgrote projecten worden deze tussentijds gevolgd. Bij grotere projecten wordt de evaluatie soms uitbesteed aan een extern bureau. Deze fondsen leggen voor hun eigen fonds het accent op het verantwoordingsperspectief van evaluatie. Bij grotere projecten van deze fondsen speelt ook het kennis- en ontwikkelingsperspectief mee, echter vooral dat van het desbetreffende project en in mindere mate van het fonds zelf. Vier van de dertien onderzochte fondsen hebben geen plannen om projectevaluatiebeleid te ontwikkelen. Soms heeft dat te maken met een aarzeling omdat men bureaucratie wil vermijden. In een ander geval hecht men weinig belang aan prestatiemeting en zoekt men het meer in de dialoog met projectuitvoerders. V

6 Inhoudsopgave Woord vooraf... III Samenvatting... IV Onderwerp van deze masterthesis... IV Methode van onderzoek... IV Resultaten en conclusies van het onderzoek... IV Inhoudsopgave... VI 1 Inleiding Toelichting bij dit hoofdstuk Projectkader Probleemstelling Doelstelling Centrale vraagstelling Onderzoeksvragen Begripsbepaling Afbakening Bronnenontsluiting Plaats in de bedrijfskunde Onderzoeksmodel Leeswijzer Literatuuronderzoek Toelichting bij dit hoofdstuk Onderzoeksvragen Strategisch beleid en prestatiemanagement Strategisch beleid Vaststelling van prestaties Definities, visies en benaderingswijzen van projectevaluatiebeleid Bijdrage van projectevaluatiebeleid aan strategische doelstellingen Conceptueel model Samenvatting van dit hoofdstuk Onderzoeksmethodologie Toelichting bij dit hoofdstuk Onderzoeksmethode Onderzoekseenheden Onderzoeksvragen Onderzoeksstrategie Dataverwerking VI

7 3.7 Validiteit en betrouwbaarheid Empirisch onderzoek Toelichting bij dit hoofdstuk Onderzoeksvragen Geïnterviewden Kenschets van de fondsen en hun opvattingen over evaluatie Gehanteerde methoden van evaluatie Analyse Opvattingen over evaluatie Gehanteerde methoden van projectevaluatiebeleid Mate van overeenstemming van de visies en benaderingswijzen van de fondsen onderling en met de in de literatuurstudie genoemde visies en benaderingswijzen Toetsing onderzoeksvariabelen Synthese Resultaten en conclusies Toelichting bij dit hoofdstuk De rol van evaluatiebeleid in het kader van strategische doelstellingen Praktijkervaringen van charitatieve vermogensfondsen bij het voeren van projectevaluatiebeleid en de verhouding tot de theorie hieromtrent Conclusies Aanbevelingen Toelichting bij dit hoofdstuk Aanbevelingen op basis van het literatuuronderzoek Aanbevelingen op basis van het empirisch onderzoek Reflectie Literatuurlijst Bijlagen Bijlage 1 Brief aan geïnterviewden Bijlage 2 Vragenlijst VII

8 1 Inleiding 1.1 Toelichting bij dit hoofdstuk In dit hoofdstuk wordt het kader geschetst van het onderzoek. Het vormt het voorbereidende en ondersteunende gedeelte van het onderzoek en bestaat uit de achtergrond en de probleemstelling van het onderwerp. Vervolgens komt de centrale vraagstelling aan bod, alsmede de onderzoeksvragen. De definiëring van gehanteerde begrippen, de afbakening en de plaats in de bedrijfskunde komen daarna aan de orde. Het hoofdstuk wordt afgesloten met het onderzoeksmodel en een leeswijzer. 1.2 Projectkader Het Sint Laurensfonds, voorheen: Roomsch-Katholiek Parochiaal Armbestuur van Rotterdam, is een charitatief vermogensfonds met een private kerkelijke rechtspersoonlijkheid dat is opgericht op 9 mei 1857 als rechtsopvolger van de Gemeene-Armen-Borse, ten behouve van de Catholijcke armen deser stede Rotterdam, opgericht op 24 november 1651 (Van Lieburg 2007:23). Het Sint Laurensfonds doet uit de opbrengsten van zijn kapitaal schenkingen aan pastorale, diaconale en sociale initiatieven van organisaties die niet handelen in strijd met katholieke beginselen, die werkzaam zijn op het terrein van welzijn en zorg in de stadsregio Rotterdam en die bijdragen aan materiële en geestelijke behoeften van bij voorkeur jeugdigen en ouderen 1. Het Sint Laurensfonds is een vermogende, kleinschalige organisatie met een bestuur, een directeur en een projectmedewerker. Het Sint Laurensfonds keert jaarlijks 3,5 miljoen uit aan projecten op het terrein van zorg en welzijn. Deze projecten worden geacht zich inhoudelijk en financieel te verantwoorden. Er zijn geen beoordelingscriteria op basis waarvan wordt beoordeeld of hiermee de doelstelling in voldoende mate is bereikt. Als directeur van het Sint Laurensfonds acht de auteur het van belang dat de beschikbaar gestelde middelen financieel en maatschappelijk verantwoord worden besteed, omdat dit bijdraagt aan de strategische doelstelling van het Sint Laurensfonds. Het onderzoek moet kennis, inzichten en informatie produceren die nuttig zijn bij de besluitvorming over de gewenste situatie voor het Sint Laurensfonds op het terrein van projectevaluatie. 1.3 Probleemstelling Het Sint Laurensfonds heeft geen beleid met betrekking tot de evaluatie van de door hem gefinancierde projecten en heeft daardoor onvoldoende zicht op het bereik van zijn strategische doelstelling. 1 Statuten Sint Laurensfonds (2009) 1

9 1.4 Doelstelling Het doel van het onderzoek is voor het bestuur van het Sint Laurensfonds een bijdrage te leveren aan de ontwikkeling van beleid op het terrein van evaluatie van door het Sint Laurensfonds gefinancierde projecten ter ondersteuning van zijn strategische doelstellingen door een probleemanalytisch onderzoek te doen naar de relatie tussen het strategisch beleid en het projectevaluatiebeleid van charitatieve vermogensfondsen. Deze bijdrage wordt geleverd door een probleemanalytisch onderzoek dat erop is gericht te achterhalen in hoeverre en op welke wijze evaluatie kan bijdragen aan strategische doelstellingen van charitatieve vermogensfondsen zoals het Sint Laurensfonds. Hiertoe wordt een studie uitgevoerd naar literatuur over strategisch beleid en over evaluatie van projecten, in het bijzonder in de filantropische sector, alsmede een empirisch onderzoek naar het strategisch beleid in relatie tot de evaluatiepraktijk van enkele charitatieve fondsen. Met het onderzoek wordt beoogd te komen tot aanbevelingen voor het bestuur van het Sint Laurensfonds met betrekking tot het ontwikkelen van projectevaluatiebeleid. 1.5 Centrale vraagstelling De centrale vraagstelling is als volgt. 1. Welke rol kan volgens de theorie evaluatiebeleid in het kader van strategische doelstellingen van charitatieve vermogensfondsen spelen met betrekking tot de door deze fondsen gefinancierde projecten? 2. Welke praktijkervaringen zijn er bij charitatieve vermogensfondsen m.b.t. het voeren van een evaluatiebeleid inzake door deze fondsen gefinancierde projecten en hoe verhouden deze zich tot de theorie hieromtrent? 3. Welke aanbevelingen kunnen aan het bestuur van het Sint Laurensfonds worden gedaan m.b.t. het te ontwikkelen evaluatiebeleid inzake de door dit fonds gefinancierde projecten op basis van het gevoerde onderzoek? 1.6 Onderzoeksvragen De onderzoeks- of deelvragen zijn beschrijvend van aard en zijn de volgende. Het literatuuronderzoek geeft antwoord op de volgende deelvragen: 1. Wat wordt verstaan onder strategisch beleid en op welke wijze kunnen prestaties van organisaties worden vastgesteld? 2. Wat is evaluatie en welke visies en benaderingswijzen van evaluatiebeleid kunnen in het algemeen worden onderscheiden? 3. Op welke wijze kan evaluatiebeleid m.b.t. door charitatieve vermogensfondsen gefinancierde projecten bijdragen aan strategische doelstellingen van deze sector? 2

10 De uitkomsten van het vooronderzoek hebben geleid tot een conceptueel model. In het conceptueel model gaat het om de relaties tussen te selecteren kenmerken of dimensies van de kernbegrippen van het onderzoek, te weten strategisch beleid en projectevaluatiebeleid van charitatieve vermogensfondsen. Het empirisch onderzoek geeft antwoord op de volgende deelvragen: 4. Welke opvattingen hebben de te onderzoeken charitatieve vermogensfondsen over evaluatie van door deze fondsen gefinancierde projecten? 5. Welke methoden hanteren de te onderzoeken charitatieve vermogensfondsen bij hun projectevaluatiebeleid? 6. In hoeverre stemmen de visies en benaderingswijzen van de te onderzoeken charitatieve vermogensfondsen met elkaar overeen en met de in de literatuurstudie genoemde visies en benaderingswijzen met betrekking tot projectevaluatiebeleid? Op basis van beide onderzoeken zijn aanbevelingen geformuleerd over de gewenste situatie voor het Sint Laurensfonds ten aanzien van het te voeren projectevaluatiebeleid. 1.7 Begripsbepaling Onder vermogensfonds wordt in dit onderzoek verstaan: een organisatie die haar eigen vermogen beheert en het rendement ervan besteedt aan haar doelstelling 2. Vermogenfondsen doen niet aan actieve fondsenwerving, maar kunnen eventueel wel fondsen van anderen aannemen. Charitatieve vermogensfondsen hebben een charitatieve doelstelling en besteden het rendement op het vermogen aan goede doelen. Onder strategisch beleid wordt in dit onderzoek verstaan: het beleid van een organisatie met betrekking tot de richting en focus van een organisatie op de lange termijn om voordelen te behalen in een veranderende omgeving door middel van groepering van bronnen en competenties, met de bedoeling de verwachting van belanghebbenden te vervullen (Johnson, Scholes & Whittington, 2006:9). Onder evaluatiebeleid wordt in dit onderzoek verstaan: het beleid met betrekking tot de systematische verzameling van informatie over de activiteiten, karakteristieken en waardetoevoeging van projecten teneinde deze te gebruiken om onzekerheden te reduceren, de effectiviteit te bevorderen en om besluiten te nemen met betrekking tot wat deze projecten bereiken en wat zij beïnvloeden (Patton, 1986, geciteerd in: Castle, 1991:3). In het geval van projectevaluatie in de filantropische sector gaat het om het verzamelen, interpreteren en presenteren van informatie over te financieren en/of gefinancierde projecten teneinde de waardetoevoeging van deze projecten te bepalen. 1.8 Afbakening Bij de literatuurstudie is zoveel mogelijk gebruik gemaakt van recente, hoofdzakelijk Nederlandse en Amerikaanse literatuur. De uitkomsten van het literatuuronderzoek en het vooronderzoek 2 geraadpleegd op 6 juni

11 leiden tot een selectie van kenmerken of dimensies van de kernbegrippen van het onderzoek en de verwachte relaties daartussen. Het empirisch onderzoek richt zich op dertien charitatieve vermogensfondsen in Nederland die beschikken over een evaluatiebeleid. Het empirisch onderzoek levert een beschrijving op van de verschillen en overeenkomsten tussen het conceptuele model en de onderzochte praktijk, alsmede de redenen hiervan. 1.9 Bronnenontsluiting Uit vooronderzoek is gebleken dat over de relatie tussen strategisch beleid van charitatieve vermogensfondsen en projectevaluatiebeleid van deze fondsen niet eerder is gepubliceerd. Wel is het nodige gepubliceerd over strategisch beleid in het algemeen en over evaluatiebeleid in het algemeen en in de filantropische sector in het bijzonder. Voor de beantwoording van de deelvragen op het terrein van de theorie wordt door middel van bureauonderzoek gekomen tot een inhoudsanalyse van tekstueel materiaal, zoals vakliteratuur en secundaire data. Voor wat betreft strategisch beleid wordt gebruik gemaakt van literatuur van de masterclasses Strategie en Omgeving, Financieel Management en Bedrijfskundig Procesmanagement over strategisch beleid en evaluatiebeleid (waaronder het gebruik van kritieke succesfactoren en prestatie-indicatoren). Voor literatuur over evaluatiebeleid in het algemeen wordt gebruik gemaakt van de bibliotheek van de Faculteit Sociale Wetenschappen van de Universiteit Leiden. Voor literatuur over evaluatie in de filantropische sector wordt gebruik gemaakt van het documentatiecentrum van de Bernard van Leer Foundation. Om een eerste overzicht te verkrijgen van het onderwerp wordt gezocht naar handboeken over het onderwerp waarbij als zoekterm evaluatie is gebruikt. Ook wordt de sneeuwbalmethode gehanteerd en worden citeersporen gevolgd. Voorts wordt gebruik gemaakt van het persoonlijke netwerk van de onderzoeker door sleutelfiguren in de fondsenwereld te vragen of zij behulpzaam kunnen zijn bij het vinden van actuele literatuur over projectevaluatie in de charitatieve sector. Daarenboven wordt gebruik gemaakt van zoekmachines op internet Plaats in de bedrijfskunde In de door de auteur gevolgde masterclasses van de MBA-opleiding is evaluatiebeleid in min of meerdere mate aan de orde geweest. In de Masterclass Strategie en Omgeving is met name de relatie tussen de organisatie en haar belanghebbenden ( stakeholders ) onderwerp van studie. In de Masterclass Organisatie en Management staat de organisatiestructuur en de organisatiecultuur centraal. De werkprocessen vormen daarvan een onderdeel. In de Masterclass Financieel Management gaat het om factoren die bijdragen aan de strategie en onderdeel zijn van een bestuurskundig verantwoord financieel managementsysteem (sturing en beheersing). In de Masterclass Bedrijfskundig Procesmanagement ligt de focus op de analyse van bewerkende, ondersteunende en regelende processen, waarvan de evaluerende functie onderdeel uitmaakt. Literatuur van deze masterclasses maakt onderdeel uit van de literatuurlijst. 4

12 1.11 Onderzoeksmodel Het onderzoek is volgens de interventiecyclus (Verschuren & Doorewaard, 2007:49) te kenschetsen als een probleemanalytisch onderzoek en is tot stand gekomen op basis van een vooronderzoek. Dit vooronderzoek omvat gesprekken met deskundigen van vermogensfondsen, deelname aan een module evaluatie van de postacademische opleiding Philanthropic Studies aan de Vrije Universiteit, kennisneming van onderzoeksrapportage van Hogeschool Windesheim over projectevaluatie bij het vermogensfonds Ars Donandi en deelname aan een congres van het Erasmus Centre for Strategic Philanthropy van de Erasmus Universiteit Rotterdam. Figuur 1. Onderzoeksmodel In figuur 1 wordt het onderzoeksmodel gevisualiseerd. Deze figuur laat zich als volgt toelichten. Een bestudering van verschillende beleidstheorieën op het terrein van strategisch, financieel en projectmanagement met betrekking tot strategisch beleid en evaluatie in het algemeen, alsmede een bestudering van literatuur over evaluatiebeleid in de filantropische sector m.b.t. gefinancierde projecten en een vooronderzoek (a), levert een conceptueel model op van verwachte relaties tussen geselecteerde kernbegrippen van het literatuur- en vooronderzoek (b) op, waarmee het huidig beleid van de onderzoeksobjecten wordt vergeleken (c). De resultaten worden geanalyseerd (d) en verwerkt tot conclusies en aanbevelingen (e) voor het te ontwikkelen projectevaluatiebeleid van het Sint Laurensfonds. 5

13 1.12 Leeswijzer In hoofdstuk 2 worden de onderzoeksvragen beschreven en wordt verslag gedaan van de uitkomsten van het literatuuronderzoek. De uitkomsten van het literatuuronderzoek en het vooronderzoek leiden tot een selectie van kenmerken of dimensies van de kernbegrippen van het onderzoek en de verwachte relaties daartussen, dat wordt uitgewerkt in een conceptueel model. In hoofdstuk 3 wordt een beschrijving gegeven van de methode van het empirisch onderzoek, de bij het empirisch onderzoek betrokken onderzoekseenheden en de onderzoeksvragen. Ook wordt beschreven welke bronnen worden gebruikt voor het onderzoek en welke onderzoeksstrategie wordt gehanteerd. Ten slotte wordt kort stilgestaan bij de verwerking van data en bij de validiteit en de betrouwbaarheid van het onderzoek. In hoofdstuk 4 wordt verslag gedaan van de gehouden interviews in het kader van het empirisch onderzoek. Van de geïnterviewde fondsen wordt een kenschets gegeven, alsmede hun opvattingen over evaluatie. Ook wordt verslag gedaan van de door de onderzochte fondsen gehanteerde methoden van evaluatie. Op basis van de uitkomsten van het empirisch onderzoek worden vervolgens de constituerende elementen geanalyseerd en afgezet tegen het op basis van het literatuur- en vooronderzoek door de auteur geconstrueerde conceptuele model. In hoofdstuk 5 worden de resultaten van het gevoerde literatuur- en empirisch onderzoek opgesomd en worden op basis van de uitkomsten hiervan conclusies getrokken. In hoofdstuk 6 zijn de aanbevelingen opgenomen. 6

14 2 Literatuuronderzoek 2.1 Toelichting bij dit hoofdstuk In dit hoofdstuk worden de onderzoeksvragen beschreven en wordt verslag gedaan van de uitkomsten van het literatuuronderzoek. De auteur heeft voor de beantwoording van de onderzoeksvragen gebruik gemaakt van recente, hoofdzakelijk Nederlandse en Amerikaanse literatuur van de door de auteur gevolgde masterclasses van de MBA-opleiding op het terrein van strategie en omgeving, organisatie en management, financieel management en bedrijfskundig procesmanagement. Voorts is gebruik gemaakt van voornamelijk Nederlandse wetenschappelijke literatuur over evaluatie en hoofdzakelijk Amerikaanse wetenschappelijke literatuur over projectevaluatie door charitatieve fondsen. De uitkomsten van het literatuuronderzoek en het vooronderzoek leiden tot een selectie van kenmerken of dimensies van de kernbegrippen van het onderzoek en de verwachte relaties daartussen, dat wordt uitgewerkt in een conceptueel model. Dat model zal worden afgezet tegen het in hoofdstuk 4 beschreven empirisch onderzoek. 2.2 Onderzoeksvragen Het literatuuronderzoek levert een theoretisch kader door middel van een theoretische onderbouwing van het conceptueel model. Om deze stap te kunnen maken zal eerst vraag 1 van de centrale vraagstelling met de bijbehorende deelvragen worden beantwoord. De eerste vraag van de centrale vraagstelling luidt: - Welke rol kan volgens de theorie evaluatiebeleid in het kader van strategische doelstellingen van charitatieve vermogensfondsen spelen met betrekking tot de door deze fondsen gefinancierde projecten? Vanuit deze vraagstelling zijn de volgende deelvragen geformuleerd die worden beantwoord in dit hoofdstuk: 1. Wat wordt verstaan onder strategisch beleid en op welke wijze kunnen prestaties van organisaties worden vastgesteld? 2. Wat is evaluatie en welke visies en benaderingswijzen van evaluatiebeleid kunnen in het algemeen worden onderscheiden? 3. Op welke wijze kan evaluatiebeleid m.b.t. door charitatieve vermogensfondsen gefinancierde projecten bijdragen aan strategische doelstellingen van deze sector? 7

15 2.3 Strategisch beleid en prestatiemanagement Strategisch beleid Johnson, Scholes & Whittington (2006:9) definiëren strategie als volgt: Strategy is the direction and scope of an organisation over the long term, which achieves advantage in a changing environment through its configuration of resources and competences with the aim of fulfilling stakeholder expectations. Strategie omvat de strategische besturing van een organisatie. Missie en visie vormen het fundament van een strategie. De missie beschrijft de opdracht van de organisatie conform de waarden en verwachtingen van de belanghebbenden. De visie beschrijft de gewenste toekomstige staat, oftewel de ambitie, van de organisatie. Missie en visie beschrijven aldus de identiteit van een organisatie, de bestaansreden en een globaal toekomstbeeld. Een strategie concretiseert dit toekomstbeeld in termen van doelstellingen die in de gewenste situatie bereikt moeten zijn. Scenario s of maatregelen beschrijven vervolgens het pad waarmee de gewenste situatie bereikt kan worden. Kotler & Keller (2006:44) stellen dat om de missie te definiëren een organisatie de volgende vragen moet beantwoorden: - Wat zijn onze taken? - Wie zijn onze klanten? - Wat is van waarde voor de klant? - Wat zullen onze taken zijn? - Wat zouden onze taken moeten zijn? Volgens deze auteurs werpen succesvolle organisaties deze vragen voortdurend op en beantwoorden zij ze diepzinnig en uitputtend. Een strategie gaat in essentie om de vraag, hoe de organisatie extern waarde wil toevoegen in zijn omgeving en zich intern moet ontwikkelen om dat mogelijk te maken. Om die vraag te kunnen beantwoorden wordt vaak een analyse van sterkten, zwakten, kansen en bedreigingen ( SWOTanalyse ) uitgevoerd. Het interne analysetraject (inside-out) onderzoekt sterkten en zwakten van de managementbouwstenen mensen, middelen, structuur en cultuur. Het externe analysetraject (outside-in) onderzoekt kansen en bedreigingen door analyse van de omgeving (de markt, de klanten, de leveranciers en de bedrijfskolom) waarin de organisatie zich bevindt. Johnson, Scholes & Whittington (2006:347) hanteren de TOWS-matrix, die voortborduurt op de strategische positie die wordt samengevat door middel van een SWOT-analyse (zie tabel 1). 8

16 Tabel 1. Elementen van strategisch beleid (Johnson et al. 2006:347) Mouwen (2008:39) heeft voor de non-profitsector een aangepast strategiemodel geïntroduceerd. Kern daarvan wordt gevormd door de traditionele SWOT-benadering, maar nu aangevuld met een aantal nieuwe elementen. Deze zijn ingebracht om met name de complexiteit en onzekerheid, die in de non-profitsector zo prominent aanwezig zijn, beter te accommoderen. Enkele van deze elementen zijn volledig nieuw, zoals de existentieanalyse en de strategischeruimtematrix, andere daarentegen zijn opnieuw gedefinieerd, dan wel voorzien van nieuwe, praktische instrumenten om ze beter te hanteren, zoals het missieconcept. Een eerste en onmisbaar element in elke missie is volgens Mouwen (2008:45-46) de ten principale en op strategisch niveau geformuleerde bestaansreden van de organisatie. Het gaat hierbij om de volgende vragen: - wat is in essentie de toegevoegde waarde van de kernactiviteiten? - voor wie wil de organisatie in welke termen wat betekenen? - hoe wil de organisatie dat anderen haar percipiëren? - welke activiteiten wil de organisatie niet (meer) uitvoeren? - hoe wil de organisatie zich strategisch positioneren ten opzichte van de overheid, de markt en de burger? Er bestaan verschillende strategiebenaderingen en -theorieën. Zij onderscheiden zich door de bij hun indeling gekozen karakteristieke parameters in het strategieproces, zoals het behaalde financiële resultaat, de complexiteit van of de onzekerheid van de werkprocessen, de mate van gehanteerde rationaliteit of de gerealiseerde procesbeheersing, dan wel de verhouding tussen de centrale en decentrale aansturing van de organisatie. Deze theorieën worden hier als bekend verondersteld. Mouwen (2008:80) geeft voor de non-profitsector de voorkeur aan een systeemtheoretische benadering, gelet op de sociaal-maatschappelijke context waarin dit soort organisaties functioneert. Hij noemt Whittington (2001) die voor de systeembenadering de volgende karakteristieken afleidt: - beleidsmakers zijn diep geworteld in de bij de organisatie horende sociale systemen; - de voor het strategieproces richtinggevende waarden en normen komen rechtstreeks voort uit de culturele voorschriften van de maatschappelijke omgeving; - dit geldt zelfs voor het economisch handelen, waarvan de randvoorwaarden uiteindelijk vooral bepaald worden door de sociale context. 9

17 Volgens deze auteur richt de systeembenadering zich dus sterk op de verschillen in beleid ten gevolge van de verschillen in maatschappelijke stelsels en de daarin functionerende waarden- en normenpatronen. Hierbij speelt ook de maatschappelijke verantwoordelijkheid van de organisatie een grote rol. De organisatie dient zich volgens de auteur er daarbij terdege van bewust te zijn dat het in de dialoog met de omgeving lang niet altijd gaat om de feiten, maar ook om de perceptie van de feiten. Een goed communicatiebeleid is daarom ook in het kader van de strategieontwikkeling noodzakelijk. Bos, Van der Ham & Van Rooij (2005:232) stellen dat organisaties niet alleen richting moeten geven door het formuleren van een missie, maar dat ze tevens moeten vaststellen welke activiteiten moeten worden verricht, in welke activiteiten moet worden geïnvesteerd dan wel gedesinvesteerd en welke nieuwe activiteiten moeten worden verricht. Zij noemen Keuning & Eppink (2001) die onder strategisch management niet alleen het vaststellen van doelen die bereikt moeten worden verstaan, maar ook het bepalen op welke wijze deze doelen moeten worden bereikt. Daft (2007:44) noemt Kotter (1982) die stelt dat de voornaamste taak van het topmanagement is het bepalen van de doelen, de strategie en het ontwerp van de organisatie, en zo de organisatie aan een veranderende omgeving aan te passen. Mawhood (1997:135) ziet een verband met deze ontwikkelingen met het concept new public management, te weten: - focus op uitkomsten in plaats van inbreng; - gedreven door doelen en niet door wetten en regels; - cliënt herdefiniëren als klanten; - decentralisatie van autoriteit; - gebruik van de markt in plaats van bureaucratische mechanismen; - katalyseren van publieke, private en vrijwillige sectoren; - bekrachtigen van burgers; - introduceren van private financiering. Charitatieve fondsen beogen door middel van financiering van projecten waarde toe te voegen aan de maatschappij. Zij staan niet geïsoleerd in de wereld, integendeel. Fondsen in de filantropische sector hebben met in- en externe factoren te doen en kunnen door middel van een strategische analyse hun positie en beleid bepalen en verbeteren. Wentink (2008:21) stelt dat de druk om maatschappelijk verantwoord te handelen en om het gedrag ten opzichte van belanghebbenden in de samenleving transparanter te maken, een aantal prestatievelden in beeld brengt. Mouwen (2008:33) constateert dat in de non-profitsector het vaak ontbreekt aan een duidelijke visie op de gewenste strategische positionering en koers. In het verlengde van de missie van een fonds en als eerste stap tot concretisering daarvan kan een strategische visie worden opgesteld. Volgens Mouwen (2008:53) gaat het hierbij om concrete opvattingen over de volgende zaken: - de gewenste toekomstige staat van de organisatie, alsmede de doelen die de organisatie wenst na te streven; - de concrete ambities en de specifieke ontwikkelingsrichtingen van de organisatie; - het kwaliteitsniveau en de concrete afbakening van de primaire processen en alle daaraan gerelateerde activiteiten; - de gewenste perceptie van de organisatie door haar belanghebbenden en de samenleving; - de wijze waarop de financiering van de diverse activiteiten dient te geschieden. 10

18 2.3.2 Vaststelling van prestaties In de literatuur worden meerdere begrippen gebruikt voor prestatiemanagement, zoals corporate, strategic en business performance management. Wentink (2008:18) citeert Geelen (2004:23) die stelt dat prestatiemanagement de uitvoering van de strategie van de organisatie moet beheersen op een zodanige wijze dat continu verbeteren wordt gestimuleerd en proactief kan worden bijgestuurd, waardoor de onderneming op een duurzame wijze waarde creëert. Prestatiemanagement staat daarbij voor een verzameling van opvattingen, zienswijzen, methoden en technieken die het management van een organisatie gebruiken om organisatiedoelen te behalen en prestaties te optimaliseren. Volgens Wentink (2008:17) beginnen processen van prestatiemanagement op strategisch niveau met strategieontwikkeling gevoed door contextanalyse en scenarioanalyse. Daaruit worden kritieke succesfactoren en prestatie-indicatoren, doelen en acties afgeleid. Op het tactisch niveau leiden acties tot planning en budgettering, prognose van de uitvoering, verbeteren en monitoren, en beoordelen. Op operationeel niveau gaat het om processen en activiteiten. De besturing vindt dus plaats op verschillende niveaus. De strategie wordt bepaald op het strategische besturingsniveau. Deze globale uitgangspunten over de koers van de organisatie op lange termijn zijn kaderstellend voor de lagere tactische en operationele besturingsniveaus. Op deze niveaus wordt de strategie verder verfijnd en concreet gemaakt. Wentink noemt Geelen (2004:18) die stelt dat het daarbij de crux is om strategische sturingsinformatie te integreren in de planning- en beheersingscyclus. Er zijn verschillende methoden die hierbij ondersteuning kunnen bieden, zoals de Balanced Scorecard en het INK-model, beide genoemd door Ahaus, Diepman, Van der Lugt & Beuving (1998). Organisaties leveren volgens Wentink (2008:20) een betere prestatie als zij: - een hoge productiviteit realiseren, met name een hogere arbeidsproductiviteit; - kwaliteit tonen, zowel in producten als processen; - flexibel zijn, zodat zij hun organisatie snel kunnen omzetten en omschakelen als de (markt)omgeving en technologische ontwikkelingen daarom vragen; - innovatief zijn in producten, processen en systemen, ook in hun sociale systemen. Het strategische besturingsproces geeft de strategiekaders in de vorm van een plan aan lagere besturingsniveaus door. Deze besturingsniveaus rapporteren op hun beurt terug over de voortgang en eventuele afwijkingen. Prestatiemanagement brengt met zich mee dat het management wordt afgerekend op de prestaties van de organisatie. Het management tracht de organisatie zodanig te sturen dat de vereiste resultaten ook worden bereikt. Hierbij worden doelstelling van de organisatie omgezet in kritieke prestatie-indicatoren die moeten worden gemeten, bewaard, bewerkt en verspreid. Wentink (2008:21) onderscheidt naast de organisatorische component een gedragsmatige component die betrekking heeft op het realiseren van een zodanige houding bij alle organisatieleden, zodat hun dagelijks handelen prestatiegedreven is en gericht is op het realiseren van de doelstellingen van de organisatie. De meest toegepaste managementsystemen die prestatiemanagement als uitgangspunt nemen zijn de Balanced Scorecard en het INK-model, zoals eerder genoemd. Deze modellen hebben grote invloed op de theorie en praktijk van integraal kwaliteitsmanagement, gericht op het verbeteren van prestaties van organisaties en worden hier als bekend verondersteld. 11

19 Mouwen (2006: ) stelt dat er een fundamenteel probleem in de non-profitsector speelt, namelijk het gemis aan representatieve performanceparameters en sturingsconcepten die niet alleen de resultaten, maar ook de effecten representeren. Deze constatering is zowel van toepassing op de interne sturing in de organisatie, alsook op de sturing van het stelsel of domein waartoe de organisatie behoort. Mouwen hoopt dat via de doorontwikkeling van moderne rapportage- en kwaliteitssystemen stappen op weg gezet kunnen worden. Tot het zover is zal volgens hem moeten worden gewerkt met redelijk beperkte sturingssystemen. Wentink (2008:35) noemt als kritieke succesfactoren voor effectief gebruik van prestatiemeting : cultuur, mensen, technologie en regelgeving. Metingen moeten zijn verbonden met strategie. Acties moeten in lijn zijn met de metingen. De mensen moeten een adequate training in het gebruik van een meetsysteem hebben en over vaardigheden beschikken om met het meetsysteem te kunnen werken. Informatietechnologische ondersteuning is noodzakelijk voor een goed functionerend prestatiemeetsysteem. Er moet bij het samenstellen van de prestatie-indicatoren vaak rekening gehouden worden met wettelijke criteria en regelgeving. Prestatiemeting moet zijn gebaseerd op vertrouwen. Er moet overeenstemming zijn over de functies van de metingen en voor welke fora zij dienen. Wentink (2005:36) noemt Meyer (2002:1-5) die de vraag stelt of prestaties van een project wel accuraat kunnen worden gemeten. Hij verwijst naar drie dilemma s, namelijk: - Prestaties in het verleden zijn geen garanties voor prestaties in de toekomst. - Projecten kunnen complex zijn en kunnen prestatiemaatstaven hanteren die niet altijd consistent ten opzichte van elkaar zijn. - Er is een kloof tussen wat we willen meten en wat we kunnen meten. Meyer onderscheidt vier typen van prestatie-indicatoren, te weten: - Indicatoren die betrekking hebben op de marktwaarde (zoals total shareholders return ). - Financiële indicatoren (bijvoorbeeld return on investment ). - Kostenindicatoren (bijvoorbeeld activity based costing ). - Niet-financiële maatstaven (zoals social return on investment ). Meyer stelt dat prestatiemanagement suboptimaal is als er onvoldoende ruimte is voor gesprekken met medewerkers over de beoordeling van prestaties en als er weerstand en angst voor meten van prestaties bestaat en men een bijltjesdag vreest als prestaties transparant worden. De Bruijn (2006:29-46) noemt perverse leereffecten van prestatiemeting. Deze betreffen interventies als zich verschillen tussen werkelijke prestaties en streefwaarden voordoen, met name door het manipuleren en knoeien met de werkelijke prestaties of door prestaties te meten van weinig ter zake doende activiteiten. Een andere manier van pervers gebruik is door alleen goed presterende eenheden te volgen en de slecht presterende eenheden uit te sluiten, zodat de gemiddelde prestatie hoog is. Meten en belonen kan strategisch gedrag uitlokken. Prestatiemeting is gemakkelijker als producten en processen eenduidig en gestructureerd zijn en als de doorlooptijd van processen kort is. Wentink (2008:22) stelt dat causaliteiten (relaties tussen inspanning en resultaat) vaak onbekend zijn, omstreden en niet objectief. 12

20 De Bruijn (2006:23) wijst erop dat de kwaliteit van prestaties van non-profitorganisaties moeilijk is te bepalen met behulp van prestatie-indicatoren. Aandacht voor kwantiteit verdrijft nogal eens die voor kwaliteit. Prestatiemeting in professionele organisaties is problematisch; het primaire proces vergt expertise die moeilijk te standaardiseren is. Producten van non-profitorganisaties zijn vaak meervoudig; zij doen recht aan diverse waarden. De producten van deze organisaties komen dikwijls in stand met anderen en zijn doorgaans met elkaar vervlochten. Als eenzelfde product in verschillende contexten een verschillende betekenis kan hebben, geeft prestatiemeting een onjuist beeld van de werkelijkheid. Professionalisering is een dynamisch proces; er wordt steeds nieuwe expertise gecreëerd waardoor prestatie-indicatoren aan slijtage onderhevig kunnen zijn. 2.4 Definities, visies en benaderingswijzen van projectevaluatiebeleid Evaluatiebeleid is beleid dat gericht is op een waardeschatting of waardebepaling. Door evaluatiebeleid plaatst een organisatie informatie over bepaalde situaties of bepaalde processen in het licht van maatstaven die zij aanlegt. Dit stelt de organisatie in staat haar positie tegenover de situaties of de processen te bepalen. Het vinden van die positie is op zijn beurt weer een voorwaarde voor een weloverwogen handelen. Het begrip evaluatiebeleid kan op vele wijzen worden gedefinieerd. Doermann (1993:xiv) stelt dat het begrip evaluatiebeleid bijna net zoveel betekenissen heeft als het aantal mensen dat het erover heeft en dat deze vele meningen kunnen leiden tot verwarring over de uitvoerbaarheid van evaluaties door charitatieve fondsen. Castle (1991:3) citeert Patton (1986) die evaluatiebeleid als volgt definieert: the systematic collection of information about the activities, characteristics and outcomes of programs for use by specific people to reduce uncertainties, improve effectiveness and make decisions with regard to what those programs are doing and affecting. Freriks (2007) definieert evaluatiebeleid als volgt: - beleid met betrekking tot gedocumenteerde waardering en analyse, zo objectief mogelijk, van het ontwerp, de uitvoering, bedoelde en onbedoelde resultaten van lopende of afgeronde programma s of projecten; - gebaseerd op empirisch onderzoek en systematische dataverzameling; - met uitspraken over relevantie, doeltreffendheid, doelmatigheid en duurzaamheid van de activiteiten; - waarin aanbevelingen worden gedaan voor toekomstige verbeteringen door middel van feedbackmechanismen. Projectevaluatiebeleid is van belang, omdat zij onmisbaar is voor het bijsturen van het beleid. Wanneer uit evaluatie blijkt dat bepaalde doeleinden niet worden bereikt, rijst de vraag hoe dit valt te verklaren. Een volgende vraag is hoe het beleid moet worden bijgestuurd om te zorgen dat de doeleinden wel worden bereikt. Projectevaluatie kan helpen zulke vragen te beantwoorden. Kehrer (1993:1) is van mening dat projectevaluatiebeleid antwoorden kan geven op de volgende vragen: - vragen over doelbereiking; - vragen over implementatie, uitvoerbaarheid, doeltreffendheid en kosten; - vragen over kwaliteit, nut, aanvaardbaarheid en waarde. 13