EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP. Drs. M. Pen Mevrouw drs. M.W.G. Steinmeijer Dr. ir. M. Verweij

Transcriptie

1 EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP Utrecht, 16 juli 2004 Drs. R.C. van der Mark Drs. M. Pen Mevrouw drs. M.W.G. Steinmeijer Dr. ir. M. Verweij 26990

2 EINDRAPPORT EVALUATIE PROGRAMMAONDERZOEK MKB EN ONDERNEMERSCHAP INHOUD Blz. SAMENVATTING 1. INLEIDING AANLEIDING VOOR DE EVALUATIE DOEL VAN DE EVALUATIE EN DE EVALUATIESYSTEMATIEK AANPAK VAN DE EVALUATIE STRUCTUUR VAN HET RAPPORT OPZET EN ONTWIKKELING VAN HET PROGRAMMAONDERZOEK DOEL VAN HET PROGRAMMAONDERZOEK LEERPUNTEN VAN DE VORIGE EVALUATIE STURINGSMODEL FINANCIËN INBEDDING VAN HET PROGRAMMAONDERZOEK IN DE EZ- BEGROTING DOELTREFFENDHEID VAN HET PROGRAMMAONDERZOEK PRESTATIEMETING INHOUDELIJKE THEMA S, ACTIVITEITEN EN OUTPUT KWALITEIT VAN DE OUTPUT BEREIK EN GEBRUIK VAN DE OUTPUT TOEGEVOEGDE WAARDE VAN HET PROGRAMMAONDERZOEK EN ALTERNATIEVE KENNISBRONNEN BEOORDELING DOELMATIGHEID VAN HET PROGRAMMAONDERZOEK AANSTURING EN UITVOERING VAN HET PROGRAMMAONDERZOEK INTERNE ORGANISATIESTRUCTUUR EN PROGRAMMAJAARCYCLUS PROGRAMMABUDGET EN KOSTEN VAN UITVOERING BEOORDELING

3 5. PUBLIEKE KARAKTER VAN HET PROGRAMMAONDERZOEK BELEIDSCONTEXT VAN HET PROGRAMMAONDERZOEK HET PUBLIEKE KARAKTER VAN HET PROGRAMMAONDERZOEK DE UITVOERING VAN EEN PUBLIEK PROGRAMMA DOOR EEN PRIVATE PARTIJ BEOORDELING CONCLUSIES EX-POST EVALUATIE PROGRAMMAONDERZOEK DOELTREFFENDHEID DOELMATIGHEID DE TOEKOMST VAN HET PROGRAMMAONDERZOEK STRATEGISCHE BOUWSTENEN SCENARIO S VOOR HET PROGRAMMAONDERZOEK BOUWSTENEN VOOR DE OPERATIONELE BEGROTINGSDOELSTELLING CONCLUSIES...71 Bijlagen: 1. Verantwoording van de evaluatie. 2. Schriftelijke bronnen. 3. Gesprekspartners. 4. Samenstelling begeleidingscommissie. 5. Verantwoording enquête. 6. Doeltreffendheid van het programmaonderzoek. 7. Buitenlandse experts peer review. 8. Doelmatigheid van het programmaonderzoek

4 SAMENVATTING Programmaonderzoek MKB en Ondernemerschap Het Programmaonderzoek MKB en Ondernemerschap heeft tot doel een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap in stand te houden, uit te bouwen en voor gebruikers te ontsluiten. Gebruikers zijn met name beleidsmakers, het (georganiseerde) bedrijfsleven en (wetenschappelijke) onderzoekers. Het programmaonderzoek omvat de ontwikkeling en onderhoud van vier economische modellen en 27 primaire en secundaire datasets. Strategisch onderzoek levert jaarlijks circa 35 wetenschappelijke (Engelstalige) rapporten, 15 wetenschappelijke artikelen, 40 (Nederlandstalige) publieksgerichte rapporten en 10 publieksgerichte artikelen op. De website van het programmaonderzoek speelt een belangrijke rol in de ontsluiting van kennis. In 2003 telde de website 1,8 miljoen hits en er werden downloads van rapporten geteld. Het programmaonderzoek wordt gefinancierd door het Ministerie van EZ (circa 4 miljoen per jaar). De aansturing en controle op het programmaonderzoek zijn gedelegeerd aan een programmacommissie. Een adviesraad, bestaande uit personen uit wetenschap, koepelorganisaties en overheid, adviseert over de inhoudelijke thema s van het programmaonderzoek. Voor advisering over datasets, modelbouw en wetenschappelijk onderzoek zijn twee adviesorganen benoemd, die bestaan uit personen met een wetenschappelijke achtergrond. Het programmaonderzoek wordt uitgevoerd door EIM BV. Evaluatie Programmaonderzoek In de basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap is vastgelegd dat in 2004 een evaluatie plaatsvindt. Deze evaluatie is kort geleden urgent geworden, omdat in de Tweede Kamer een motie is aangenomen waarin wordt verzocht het programmaonderzoek vóór de zomer van 2004 te evalueren. De motie is ingediend naar aanleiding van het voornemen van het Ministerie van EZ om de subsidie voor het programmaonderzoek om te buigen van 4 miljoen in 2004 naar 1 miljoen in In opdracht van het Ministerie van EZ heeft Berenschot het programmaonderzoek geëvalueerd. De evaluatie is begeleid door een commissie onder leiding van prof. dr. P. Nijkamp. In de evaluatie is onderzoek gedaan naar de doeltreffendheid en doelmatigheid van de uitvoering van het programmaonderzoek op basis van documenten, gesprekken met circa 30 stakeholders en een enquête onder ruim geregistreerde gebruikers. Conclusies De algemene doelstellingen van het programmaonderzoek zijn goed geoperationaliseerd in prestatie-indicatoren en streefwaarden voor output, kwaliteit en bereik/gebruik van kennisproducten. Het programmaonderzoek is doeltreffend gebleken, blijkens het behalen van deze streefwaarden. Kanttekening is dat de streefwaarden in hoge mate zijn gebaseerd op de prestaties in eerdere jaren vanwege het ontbreken van een adequate benchmark. De samenhang in het programmaonderzoek is op onderdelen groot. De datasets en modellen worden gezien als basiskennisinfrastructuur en motor voor het programmaonderzoek. Veel strategisch onderzoek is gebaseerd op deze basisinformatie

5 De kwaliteit van de producten en diensten uit het programmaonderzoek is goed. Dit blijkt overtuigend uit de opvattingen van wetenschappers, zowel in binnen- als buitenland. Ook de gewone gebruikers van het programmaonderzoek zijn positief over de kwaliteit van het programmaonderzoek. In het gebruik van het programmaonderzoek zien we een tweedeling. Sommige producten, met name rapportages en ruwe datasets, worden gebruikt voor algemene doeleinden zoals algemene kennisontwikkeling en oriëntatie op nieuwe onderwerpen. Andere producten, bijvoorbeeld specifieke datareeksen via dataleveranties en minirapportages via infoservice, worden voor specifieke doeleinden gebruikt, zoals analyses, beleidsvoorbereiding en onderzoek. De grote toename van het bezoek aan de website duidt op een sterke verbetering van de ontsluiting. Deze verbeterde ontsluiting was voor de programmacommissie een belangrijk aandachtspunt in de afgelopen periode. Kijken we naar de oordelen van gebruikers over het publieke karakter van de verschillende producten uit het programmaonderzoek, dan lopen de meningen nog al eens uiteen. Toch zien we wel dat praktisch alle gebruikers het erover eens zijn dat de datasets en modelbouw in de sterkste mate als publieke voorziening kunnen worden aangemerkt. Daarnaast worden ook strategische analyses, die primair betrekking hebben op de interpretatie en ontsluiting van databestanden en modellen, ook tot het publieke domein gerekend. De publieksgerichte rapportages, quick service en informatieservice worden in mindere mate als publieke goederen aangemerkt. Of een specifiek kennisproduct onder het programmaonderzoek moet worden geschaard, wordt bepaald door de programmacommissie en EIM op basis van professional judgement. Objectieve criteria voor publieke kennisproducten ontbreken. De programmacommissie en adviesraad hebben goed gefunctioneerd. Mogelijkheden voor verbetering liggen op het terrein van de sturing op doelmatigheid en scherpere vraagarticulatie. Een scherpere vraagarticulatie kan de toepassingsmogelijkheden van kennisproducten vergroten. Het Ministerie van EZ heeft weinig gebruikgemaakt van mogelijkheden om via de adviesraad een inhoudelijke bijdrage te leveren. Het ministerie is ook nauwelijks herkenbaar als afzender van het programmaonderzoek. De organisatie en uitvoering van het programmaonderzoek bij EIM zijn transparant, waarbij veel aandacht bestaat voor coördinatie en kwaliteitsbevordering. De grote inspanningen voor kwaliteitsbevordering gaan ogenschijnlijk gepaard met hoge kosten, maar door het ontbreken van vergelijkingsmateriaal kan geen finaal oordeel hierover worden gegeven. Bij de invoering van de VBTB-begrotingssystematiek in 2002 heeft het Ministerie van EZ het programmaonderzoek ondergebracht bij de begrotingsdoelstelling bevorderen van ondernemerschap. Gebleken is dat het programmaonderzoek als beleidsinstrument niet aantoonbaar bijdraagt aan het behalen van deze operationele EZ-begrotingsdoelstelling. Het programmaonderzoek draagt echter wel bij aan andere EZ-begrotingsdoelstellingen over onafhankelijke analyses, prognoses en statistisch onderzoek. Dit zijn begrotingsdoelstellingen waarin ook instanties zoals CPB en CBS zijn ondergebracht. Voor de toekomst is het van belang dat een vorm van programmaonderzoek blijft bestaan. In een hoogontwikkelde kenniseconomie, waarin het MKB en Ondernemerschap belangrijke motoren zijn voor groei, blijft basisinformatie over cijfers en trends noodzakelijk voor overheid en (verenigd) bedrijfsleven

6 Bij de financiering van programmaonderdelen kunnen in de toekomst alternatieve financiële bronnen worden gezocht. Tot nu toe werd het complete programmaonderzoek publiek gefinancierd, maar het is goed denkbaar dat voor specifieke projecten een private bijdrage wordt gevraagd. Vanwege de breedte van het programmaonderzoek ligt het voor de hand de publieke financiering te verbreden naar andere departementen. Voor de toekomst zijn in het kader van dit onderzoek drie scenario s voor het programmaonderzoek gepresenteerd: 1. Afbouwen: beperking van het programmaonderzoek tot een basisinfrastructuur met datasets en modellen. 2. Continueren: het programmaonderzoek wordt in zijn huidige vorm voortgezet. 3. Programmaonderzoek conform model Wijffels: onderscheid tussen taakfunctie (datasets en modellen) en marktfunctie (strategisch onderzoek en publieksgerichte rapporten). Binnen de marktfunctie is er een optimale vraagsturing door gebruikers

7 1. INLEIDING 1.1 AANLEIDING VOOR DE EVALUATIE Berenschot heeft van het Ministerie van Economische Zaken (EZ) de opdracht gekregen voor de evaluatie van het Programmaonderzoek MKB en Ondernemerschap. Dit programmaonderzoek wordt conform de basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap uitgevoerd door EIM BV. In die basisbeschikking is vastgelegd dat in 2004 een evaluatie plaatsvindt. Deze evaluatie is kort geleden urgent geworden, omdat in de Tweede Kamer een motie 2 is aangenomen waarin wordt verzocht de evaluatie vóór de zomer van 2004 te laten plaatsvinden. De motie is ingediend naar aanleiding van het voornemen van het Ministerie van EZ om de subsidie voor het programmaonderzoek om te buigen van 4 miljoen in 2004 naar 1 miljoen in Na het gereedkomen van het evaluatierapport wordt het voorstel van het ministerie over de subsidie voor het programmaonderzoek aan de Tweede Kamer voorgelegd. De onderliggende evaluatie is uitgevoerd volgens de geldende richtlijnen voor evaluatieonderzoek, zoals vastgelegd in de Regeling Prestatiegegevens en Evaluatieonderzoek voor de rijksoverheid. 1.2 DOEL VAN DE EVALUATIE EN DE EVALUATIESYSTEMATIEK In bijlage 1 zijn de onderzoeksvragen van het Ministerie van EZ weergegeven. Kort samengevat is het doel van het evaluatieonderzoek tweeledig. In de eerste plaats is er een retrospectief deel. Doel van dit deel van het evaluatieonderzoek is te komen tot een oordeel over de doeltreffendheid en doelmatigheid van de uitvoering van het programmaonderzoek. Figuur 1.1 geeft een overzicht van onze evaluatiesystematiek. Drie elementen staan centraal: Doeltreffendheid van het programmaonderzoek. Hieronder wordt verstaan de mate waarin de vooraf gestelde doelen van het programmaonderzoek, zoals vastgelegd in de basisbeschikking, worden bereikt en de mate waarin het programmaonderzoek hieraan een bijdrage heeft geleverd. Doelmatigheid van de uitvoering van het programmaonderzoek. Hieronder wordt verstaan de aansturing en de bedrijfsvoering bij de uitvoering van het programmaonderzoek. Doelmatigheid van het programmaonderzoek als beleidsinstrument. Een belangrijke vraag voor de toekomst is of het programmaonderzoek het geëigende instrument is voor het bereiken van de gestelde beleidsdoelen. De vraag die zich dan opwerpt is: leidt de inzet van middelen in het programmaonderzoek tot de meeste effecten of kunnen de middelen beter of anders worden ingezet om de beleidsdoelen te bereiken? 1 Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap , d.d. 8 december Brief met kenmerk ES/OM Motie van het kamerlid Aptroot c.s., voorgesteld op 8 oktober Tweede Kamer, vergaderjaar , XIII, nr

8 Figuur 1.1 Evaluatiesystematiek. Aspecten voor evaluatieonderzoek naar het Onderzoeksprogramma MKB en Ondernemerschap EZ-beleid Input Throughput Output Outcome Kosten van het onderzoeksprogramma Programmadoelen Uitvoering door EIM, aansturing door PC en EZ Prestaties, producten Effecten (te relateren aan beleidsdoelen) Doelmatigheid van de uitvoering van het programma Doelmatigheid van het programma als beleidsinstrument Doeltreffendheid van het programma Invloed omgevingsfactoren In de tweede plaats is er een prospectief deel. Doel van dit deel van het evaluatieonderzoek is bouwstenen en scenario s aan te reiken op basis waarvan een besluit kan worden genomen over de toekomst van het programmaonderzoek. 1.3 AANPAK VAN DE EVALUATIE Fase 1: Opstellen evaluatiekader. De evaluatiesystematiek is bij de start van het onderzoek uitgewerkt in een evaluatiekader, dat is besproken met de begeleidingscommissie (voor samenstelling van de begeleidingscommissie, zie bijlage 4). Het evaluatiekader had tot doel vooraf duidelijkheid te geven over de evaluatiewijze en de gedetailleerde onderzoeksaanpak. In het evaluatiekader is uiteengezet welke aspecten (onderwerpen) en bijbehorende indicatoren worden onderzocht om te komen tot een oordeel over de doeltreffendheid en de doelmatigheid van de uitvoering. Fase 2: Feitenonderzoek. In deze fase zijn achtergronddocumenten van het Ministerie van EZ, onderzoeksrapporten, dossiers en databestanden van EIM bestudeerd (zie bijlage 2). Aan de hand van deze secu n- daire informatie is een breed beeld ontstaan over de inhoud en het proces van uitvoering van het programmaonderzoek. Fase 3: Inventarisatie meningen en percepties. Parallel aan het feitenonderzoek zijn gesprekken gevoerd met circa dertig personen (zie bijlage 3), die deskundig zijn op het terrein van een of meer onderdelen van het programmaonderzoek. Deze deskundigen zijn vertegenwoordigers van het Ministerie van EZ, EIM, koepel- en brancheorganisaties, kennis- en onderzoeksinstellingen, private ondernemingen, enzovoort

9 Daarnaast is een internet-enquête uitgevoerd onder ruim gebruikers van producten en diensten uit het programmaonderzoek. De opzet en verantwoording van de enquête staat in bijlage 5 weergegeven. Fase 4: Analyse bevindingen, toetsing en eindrapportage. In deze fase zijn de resultaten uit de voorgaande fasen geanalyseerd en gerapporteerd. De bevindingen zijn besproken met EIM en het Ministerie van EZ, op basis waarvan feitelijke onjuistheden en misinterpretaties zijn gecorrigeerd. Het concepteindrapport is besproken met de begeleidingscommissie. De eindverantwoordelijkheid voor de inhoud van het rapport berust bij Berenschot. 1.4 STRUCTUUR VAN HET RAPPORT Retrospectieve deel: hoofdstuk 2 tot en met 6. In hoofdstuk 2 wordt een beeld gegeven van de opzet en ontwikkeling van het programmaonderzoek in de afgelopen periode. Hier worden de doelstelling van het programma, de uitvoering en leerervaringen van een eerdere evaluatie door de commissie-verhaegen in 1999 beschreven. De hoofdstukken 3 tot en met 6 bevatten de ex-post evaluatie van het programmaonderzoek over de periode In hoofdstuk 3 besteden wordt aandacht besteed aan de doeltreffendheid van het programmaonderzoek. Hierbij wordt een analyse gemaakt van de output, kwaliteit en de effecten (in termen van bereik en gebruik) van het programmaonderzoek. Hoofdstuk 4 behandelt de doelmatigheid van de uitvoering van het programmaonderzoek. Hier wordt aandacht besteed aan de aansturing, uitvoering en kosten van het programmaonderzoek. Hoofdstuk 5 behandelt het publieke karakter van het programmaonderzoek. In de hoofdstukken 3 tot en met 5 wordt steeds onderscheid gemaakt tussen een presentatie van feitelijkheden, meningen van geïnterviewden, uitkomsten van de enquête aan de ene kant en een oordeel van Berenschot over respectievelijk doeltreffendheid, doelmatigheid en het publieke karakter van het programmaonderzoek aan de andere kant. Het oordeel van Berenschot is gebaseerd op de bevindingen uit de betreffende analyses. In hoofdstuk 6 worden de conclusies gepresenteerd. Hierbij wordt antwoord gegeven op de onderzoeksvragen (bijlage 1) die het Ministerie van EZ bij aanvang van de evaluatie heeft gesteld. Prospectieve deel: hoofdstuk 7. In hoofdstuk 7 wordt vooruitgeblikt naar de toekomst. Op basis van de evaluatie worden enkele strategische bouwstenen geformuleerd. Vervolgens worden drie scenario s voor de toekomst van het programmaonderzoek uiteengezet

10 2. OPZET EN ONTWIKKELING VAN HET PROGRAMMAONDERZOEK Om de doeltreffendheid en doelmatigheid van het programmaonderzoek in de periode goed te kunnen beoordelen, worden in dit hoofdstuk kort de belangrijkste kenmerken en de meest recente historie van het programmaonderzoek geschetst. Wanneer in de volgende hoofdstukken de resultaten van het programmaonderzoek worden beschreven, wordt steeds teruggekomen op de hierna weergegeven doeleinden, het sturingsmodel en de financiën. 2.1 DOEL VAN HET PROGRAMMAONDERZOEK Sinds geruime tijd financiert het Ministerie van EZ onderzoek naar MKB en Ondernemerschap, dat wordt uitgevoerd door EIM. In de Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap heeft de minister van EZ aan EIM subsidie toegezegd voor het programmaonderzoek. Het programmaonderzoek heeft als doelstelling: Een publieke kennisinfrastructuur met basisinformatie over MKB en Ondernemerschap in stand te houden, uit te bouwen en voor gebruikers te ontsluiten. Deze basisinformatie omvat hoogwaardige en betrouwbare data en kennis over het economische belang en prestaties op het terrein van ondernemerschap en het MKB in Nederland. Deze basisinformatie dient bekend te zijn en gebruikt te worden door gebruikers bij overheden, bedrijven en intermediairs, onderzoeks- en onderwijsinstellingen en andere relevante maatschappelijke organisaties. In aansluiting op de basisbeschikking is de doelstelling nader uitgewerkt in de volgende missie voor het programmaonderzoek: De missie van het programmaonderzoek is een belangrijke bijdrage te leveren aan het functioneren van MKB en Ondernemerschap in Nederland. Het programmaonderzoek levert deze bijdrage door relevante, actuele, consistente en betrouwbare data, informatie en kennis op te bouwen (kennisontwikkeling) en ter beschikking te stellen aan beleidsmakers, intermediaire organisaties, bedrijven, onderwijs- en kennisinstellingen (kennisoverdracht). Deze publieke kennisinfrastructuur vormt een kenniscentrum of zwaartepuntinstituut op het terrein van MKB en Ondernemerschap. Wat de doelgroep bedrijven betreft, is de verwachting dat deze groep vooral bereikt wordt via andere doelgroepen, namelijk de beleidsmakers (met name het Ministerie van EZ), koepelorganisaties (met name VNO-NCW en MKB Nederland), brancheorganisaties en onderwijs- en kennisinstellingen. Het indirecte bereik van de doelgroep bedrijven is vastgelegd in een apart document van de programmacommissie dat is afgestemd met het Ministerie van EZ. Verder zijn er nog aanvullende doelgroepen te onderscheiden, namelijk pers/media, commerciële onderzoeksbureaus en studenten/scholieren. Het programmaonderzoek kent de volgende deelprogramma s: Informatiesystemen. Het betreft activiteiten om primaire en secundaire datasets te genereren over het economisch belang en de economische prestaties van het MKB en Ondernemerschap

11 Modelbouw. Dit betreft de ontwikkeling en het onderhoud van economische modellen die kwantitatieve economische analyses, gericht op MKB en Ondernemerschap mogelijk maken. Hierover worden regelmatig wetenschappelijke artikelen geschreven. Onderzoeksgerichte rapportages. Dit zijn wetenschappelijke verkenningen van witte vlekken in de kennis over MKB en Ondernemerschap. Deze kennis wordt onsloten via strategische verkenningen, research-reports (basaal en Engelstalig), wetenschappelijke artikelen en SCALES papers ( work in progress ). Publieksgerichte rapportages. Dit zijn Nederlandstalige rapporten voor een brede doelgroep over onderwerpen die betrekking hebben op MKB en Ondernemerschap. De rapportages hebben het karakter van een minirapportage, een publieksrapport, een strategische verkenning of een artikel. Kennisoverdracht overige kanalen (dat wil zeggen: niet via rapportages). Dit betreft de kennisoverdracht van de in het kader van het programmaonderzoek opgebouwde kennis door middel van een website, telefonische informatieservice, datalab en de zogenaamde quick services. 2.2 LEERPUNTEN VAN DE VORIGE EVALUATIE Eind 1998/begin 1999 is het programmaonderzoek geëvalueerd door de onafhankelijke commissie-verhaegen 3. De commissie deed onderzoek naar de effectiviteit en efficiency van het programmaonderzoek en stond onder voorzitterschap van prof. dr. P.H.A.M. Verhaegen. De commissie concludeerde dat EIM op een kwalitatief goede en doelmatige wijze systematisch en wetenschappelijk verantwoord onderzoek uitvoerde. Ook stelde de commissie vast dat overheidsfinanciering noodzakelijk is om te waarborgen dat er voldoende systematisch en wetenschappelijk verantwoord onderzoek wordt gedaan naar MKB en Ondernemerschap. Wel was de commissie van mening dat een deel van het programmaonderzoek geen publiek karakter had (zie ook paragraaf 5.2). De commissie stelde voor om op drie hoofdpunten de aansturing van het programmaonderzoek te verbeteren: Inhoud: betere afbakening van het programmaonderzoek tot onderzoek met een publiek karakter was wenselijk. De overige onderdelen van het toenmalige programmaonderzoek konden openbaar worden aanbesteed. Aansturing: de aansturing van het programmaonderzoek moest worden verbeterd, mede omdat het leidde tot veel administratieve lasten voor het Ministerie van EZ en EIM. Concurrentieverstoring: EIM had een concurrentievoorsprong door de subsidierelatie met het Ministerie van EZ. Een betere toegankelijkheid van resultaten van het programmaonderzoek zou de concurrentieverstoring tot aanvaardbare proporties kunnen terugbrengen en de maatschappelijke reikwijdte van het programmaonderzoek kunnen verbeteren. 3 Commissie-Verhaegen, Evaluatie Programmaonderzoek EIM, 20 januari

12 In reactie op het rapport van de commissie-verhaegen heeft het Ministerie van EZ het programmaonderzoek op de volgende punten aangepast: De inhoud van het programmaonderzoek werd exclusief gericht op activiteiten met een publiek karakter. Dit betekende dat twee soorten activiteiten niet meer via het programmaonderzoek zouden worden gefinancierd: a) activiteiten waarvan aan de vraagzijde één of meer partijen zijn te identificeren, die dergelijke activiteiten zouden kunnen financieren en b) activiteiten waarvan aan de aanbodzijde één of meer partijen zijn te identificeren, die dezelfde activiteiten zouden kunnen uitvoeren. De aansturing van het programma werd in handen gelegd van een programmaco m- missie die namens het ministerie de rol vervult van opdrachtgever aan EIM. De concurrentieverstoring werd verminderd door een stevige inspanning te plegen om de toegankelijkheid van de onderzoeksresultaten voor eenieder sterk te verbeteren. 2.3 STURINGSMODEL De aansturing van het programmaonderzoek is sinds 2000 gewijzigd ten opzichte van de periode daarvoor. Momenteel formuleert het Ministerie van EZ de beleidskaders voor het programmaonderzoek. In deze kaders wordt aangegeven welke prestaties het programmaonderzoek moet opleveren en welke activiteiten in het kader van het programmaonderzoek kunnen worden verricht. Alleen activiteiten die naar het oordeel van het Ministerie van EZ binnen het publieke domein vallen kunnen uit de subsidie worden gefinancierd 4. De aansturing van het programmaonderzoek is in handen van een externe programmacommissie. De programmacommissie treedt namens het Ministerie van EZ op als gedelegeerd opdrachtgever van het programmaonderzoek. De programmacommissie toetst vooraf, tijdens en achteraf op basis van de beleidskaders van EZ en prestatie-indicatoren op doelmatigheid en doeltreffendheid 5. De programmacommissie wordt in haar taak bijgestaan door een externe adviesraad, bestaande uit maximaal vijftien vertegenwoordigers van de verschillende doelgroepen van het programmaonderzoek. De raad verzorgt de 'vraagarticulatie' en doet suggesties voor toekomstig programmaonderzoek met hoge maatschappelijke relevantie en meerwaarde. Tevens geeft de raad advies over de ontsluiting van de resultaten van het programmaonderzoek 6. Daarnaast waken twee externe commissies van gespecialiseerde externe deskundigen over de kwaliteit van de dataverzameling (Commissie Informatiesystemen) en het wetenschappelijke onderzoek en de modellen (Commissie SCALES). De commissie-verhaegen heeft geconstateerd dat er indertijd in Nederland geen ander instituut dan EIM bestond dat toen het onderzoeksprogramma als geheel zou kunnen uitvoeren. Openbaar aanbesteden was volgens de commissie dus geen optie. 4 Startnotitie Ministerie van Economische Zaken: een nieuwe sturingsrelatie EZ-EIM, Instellingsbesluit Programmacommissie programmaonderzoek ondernemerschap en MKB, juli Instellingsbesluit Adviesraad programmaonderzoek ondernemerschap en MKB, juli

13 Wel heeft het Ministerie van EZ afgesproken de mogelijke consequenties en modaliteiten van een eventuele aanbesteding verder uit te werken 7. Uit documenten van het ministerie en gesprekken met medewerkers van het departement kan niet worden afgeleid dat dit daadwerkelijk heeft plaatsgevonden. Navraag leerde dat het departement hier nog niet aan toegekomen is. 2.4 FINANCIËN Tot 1995 verstrekte het Ministerie van EZ een vorm van exploitatiesubsidie die EIM in staat stelde onderzoek te doen. Vanaf 1995 financiert het ministerie uitsluitend activiteiten en projecten in programmaverband. Naar aanleiding van het evaluatierapport uit 1999 zijn de door het ministerie verstrekte gelden herijkt. De onderdelen van het programmaonderzoek die niet als publiek konden worden aangemerkt (zie ook paragraaf 5.2), zijn indertijd uit het programmaonderzoek gehaald. In 1999 was ƒ 8,7 miljoen (bijna 4 miljoen) beschikbaar voor het programmaonderzoek. Voor de periode was in totaal 14,8 miljoen beschikbaar 8 ; gemiddeld per jaar 3,7 miljoen, exclusief een jaarlijkse verhoging conform departementale richtlijnen voor loon- en prijsstijging. 2.5 INBEDDING VAN HET PROGRAMMAONDERZOEK IN DE EZ-BEGROTING Conform de VBTB-begrotingsrichtlijnen 9 van het Ministerie van Financiën heeft het Ministerie van EZ in 2002 voor het eerst een VBTB-begroting opgesteld. Doel van de VBTBbegrotingssystematiek is om een duidelijk verband aan te brengen tussen (operationele) beleidsdoelen en bijbehorende beleidsinstrumenten. Per beleidsdoel moet worden aangegeven welke beleidsinstrumenten worden ingezet, via welke effectindicatoren doeltreffendheid kan worden gemeten en welke concrete prestaties worden nagestreefd (streefwaarden). Het programmaonderzoek is als beleidsinstrument ondergebracht bij begrotingsartikel 3 Bevorderen ondernemingsklimaat. Een van de beleidslijnen uit dit begrotingsartikel is Bevorderen van ondernemerschap. Een concrete operationele doelstelling van deze beleidslijn is het creëren en bewaken door de overheid van de randvoorwaarden die een optimale inzet van productiefactoren mogelijk maakt. Effectindicatoren en streefwaarden zijn gedefinieerd in termen van aantal ondernemers als percentage van de beroepsbevolking en aantal volwassenen dat actief bezig is met het opzetten van een eigen bedrijf. De programmacommissie en EIM zijn niet geïnformeerd over het onderbrengen van het programmaonderzoek bij het betreffende begrotingsartikel. In de begroting 2004 van het Ministerie van EZ is voorgesteld te bezuinigen op het programmaonderzoek. In de begroting staat te lezen dat.het structurele programmaonderzoek wordt afgebouwd in een driejaarsperiode. Het instandhouden van de basisinformatie draagt in het huidige informatietijdperk onvoldoende bij aan de operationele doelstelling. 7 Startnotitie Ministerie van Economische Zaken: een nieuwe sturingsrelatie EZ-EIM, Basisbeschikking Subsidie Programmaonderzoek MKB en Ondernemerschap , d.d. 8 december Brief met kenmerk ES/OM Regeringsnota Van beleidsbegroting tot beleidsverantwoording, opgesteld door het Ministerie van Financiën, d.d. 19 mei

14 De facto betekent de afbouw van het programmaonderzoek dat het budget verbonden met het onderzoeksprogramma zal worden omgebogen van de huidige ruim 4 miljoen per jaar naar 1 miljoen vanaf Bij de begrotingsbehandeling in oktober 2003 is in de Tweede Kamer een motie 10 aangenomen waarin wordt verzocht om vóór 1 juli 2004 een evaluatie van het programmaonderzoek te laten plaatsvinden. Na het gereedkomen van het evaluatierapport wordt het definitieve voorstel van het Ministerie van EZ over de subsidie voor het programmaonderzoek aan de Tweede Kamer voorgelegd. 10 Motie van het kamerlid Aptroot c.s., voorgesteld op 8 oktober Tweede Kamer, vergaderjaar , XIII, nr

15 3. DOELTREFFENDHEID VAN HET PROGRAMMAONDERZOEK In het vorige hoofdstuk zijn de doelstelling en doelgroepen van het programmaonderzoek uiteengezet. Om tot een oordeel te komen over de doeltreffendheid van het programmaonderzoek, is het van belang de oorspronkelijke doelstellingen te vergelijken met de uitkomsten van het programmaonderzoek. Daarom worden in dit hoofdstuk de output, kwaliteit van de output, effecten (in termen van bereik en gebruik) en toegevoegde waarde van het programmaonderzoek geanalyseerd. 3.1 PRESTATIEMETING Binnen de deelprogramma s van het programmaonderzoek zijn prestatie-indicatoren geformuleerd voor de output, kwaliteit van de output en bereik/gebruik van de output. De prestatie-indicatoren zijn bepaald door het Ministerie van EZ in het kader van de basisbeschikking Gaandeweg zijn de prestatie-indicatoren iets aangepast, met goedkeuring van het ministerie. EIM meet de scores op de indicatoren en rapporteert hierover aan de programmacommissie. De programmacommissie rapporteert over de prestaties van EIM aan EZ. Vanaf 2002 heeft de programmacommissie streefwaarden voor de prestaties vastgesteld. Het voorstel voor de streefwaarden was afkomstig van EIM en gebaseerd op de ervaringen in het aanvangsjaar 2001 van de nieuwe meetmethodiek. Voor 2002 en verder stelde de programmacommissie de volgende eis aan EIM: Kwantiteit van de output blijft constant. Kwaliteit van de output moet minimaal gelijk blijven. Een sterke verbetering van de ontsluiting met als gevolg een sterke toename van het bereik/gebruik van het programmaonderzoek. De streefwaarden zijn marginaal getoetst door het Ministerie van EZ. Conform de afspraken over sturing op afstand door het departement, werd de verantwoordelijkheid voor het vaststellen van streefwaarden overgelaten aan de programmacommissie. Uit de prestatiemetingen van de jaren blijkt dat EIM de streefwaarden voor output, kwaliteit en bereik/gebruik steeds heeft gehaald. Uit de prestatiemetingen blijkt ook de multichannel strategie van het programmaonderzoek, die is gekozen om het bereik van het programmaonderzoek zo groot mogelijk te laten zijn. Deze strategie houdt in dat onderzoeksresultaten langs verschillende kanalen (wetenschappelijke rapporten, publieksgerichte rapporten, artikelen, persberichten, lezingen, etcetera) worden verspreid. De multichannel strategie uit zich in de inhoudelijke overlap tussen producten. Kanttekening hierbij is dat in de prestatiemetingen niet altijd duidelijk is in hoeverre er een inhoudelijke overlap bestaat tussen verschillende outputonderdelen. Zo is het mogelijk dat een research-report toegankelijk wordt gemaakt voor een breed publiek via een Nederlandstalige publieksrapportage. Deze publieksrapportage kan vervolgens worden samengevat in een bondig artikel. En over de inhoud van een artikel kunnen lezingen worden gegeven. Dit alles voortbordurend op één onderzoeksproject

16 3.2 INHOUDELIJKE THEMA S, ACTIVITEITEN EN OUTPUT Naast een formele ordening in deelprogramma s (zie paragraaf 2.1), die met name een rol speelt in de budgettering en het programmamanagement, is er ook een ordening gekozen naar themalijnen. Deze thematische indeling is met name van belang voor de programmering van onderzoek. De indeling in themalijnen wordt vooral gezien als een hulpmiddel en beoogt geen volmaakte classificatie. Er zijn in de afgelopen periode zeven themalijnen en een rubriek themaoverschrijdende trends onderscheiden 11 : Tabel 3.1 Themalijnen. THEMALIJN Ondernemerschap Bedrijfsprestaties MKB Innovatie, kennis en samenwerking Arbeid en HRM Marktwerking Nalevingskosten Duurzame economie en fysieke bedrijfsomgeving Themaoverstijgende trends OMSCHRIJVING Bestudeert de determinanten en kenmerken van de prevalentie, het gedrag en de prestaties van ondernemers, en in het bijzonder van startende ondernemers. Binnen deze themalijn staan de persoon van de ondernemer en de wisselwerking tussen ondernemerschap en maatschappij centraal. Bestudeert de determinanten en kenmerken van het gedrag en de prestaties van het gevestigde midden- en kleinbedrijf. Dit gaat enerzijds om de kenmerken en het gedrag van individuele bedrijven (in relatie tot de prestaties), anderzijds om de rol en de prestaties van het Nederlandse MKB op meso- en macro-economisch niveau. Bestudeert specifiek de determinanten en kenmerken van het gedrag van het MKB op de terreinen innovatie, kennis en samenwerking. Bestudeert determinanten en kenmerken van het gedrag van MKB en startende ondernemingen met betrekking tot arbeid(smarkt) en HRM. Bestudeert de gevolgen van (gebrekkige) concurrentie in de economie en de rol van het MKB in de efficiënte allocatie van goederen en diensten. Bestudeert de kosten voor MKB en startende ondernemers van naleving van wet- en regelgeving (zowel informatieverplichtingen als inhoudelijke verplichtingen). Bestudeert besluitvorming, gedrag en prestaties van het Nederlandse MKB op het gebied van duurzaamheid en milieu. Nieuwe, belangrijke trends en issues die niet meteen onder bestaande themalijnen vallen, zoals technologische, demografische en internationale trends, worden hier opgepakt. Uit gesprekken met beleidsmedewerkers, koepel- en brancheorganisaties en wetenschappers blijkt dat de thema s goed herkenbaar zijn en het terrein van MKB en Ondernemerschap goed afdekken. Enkele wetenschappers hebben aangegeven dat een aantal thema s eventueel nog aan het programmaonderzoek had kunnen worden toegevoegd. Het betreft: niet-technologische innovatie in het MKB (bijvoorbeeld innovatieve concepten voor detailhandel, horeca), de ruimtelijke invalshoek in de analyse van MKB en Ondernemerschap, financiering van het MKB (bijvoorbeeld kapitaal aantrekken uit de financiële markt) en etnisch ondernemerschap. 11 Meerjarige visie Programmaonderzoek MKB en Ondernemerschap, EIM, november

17 Uit een nadere analyse van de onderzoeksthema s uit het programmaonderzoek blijkt dat deze thema s wel aan bod komen, maar zijn ondergebracht bij andere hoofdthema s. De inhoudelijke thema s komen terug in de deelprogramma s van het programmaonderzoek. In tabel 3.2 wordt een beknopt overzicht gegeven van de activiteiten en de output van de deelprogramma s informatiesystemen, modelbouw, strategisch onderzoek en publieksrapportages/kennisoverdracht. Voor een overzicht van de output (op basis van de prestatiemetingen) in de jaren verwijzen we naar bijlage 6A. Geconstateerd kan worden dat in de meeste deelprogramma s de output in 2003 iets hoger ligt dan de jaren daarvoor. Tabel 3.2 Activiteiten en output in de deelprogramma s in DEELPROGRAMMA ACTIVITEITEN OUTPUT 2003 Informatiesystemen Modelbouw Strategisch onderzoek Publieksrapportages/ kennisoverdracht Opbouw en onderhoud primaire en secundaire data Kwantitatieve modellen t.b.v. analyses Richtinggevende en kaderstellende onderzoeken, d.m.v. kwantitatieve/ kwalitatieve analyses Het ontsluiten van kennis en data voor een breed publiek Primaire en secundaire datasets (27 datasets), waarvan er in zijn doorontwikkeld of geüpdatet Operationele modellen (4), artikelen Research-reports (11), SCALES papers (24) en wetenschappelijke artikelen (11) Publieksrapportages (19), minirapportages (19), artikelen (15), quick services N.B.: Bovenstaand overzicht geeft een globale verdeling van de output over de deelprogramma s. Feitelijk wordt een deel van de publieksrapportages, minirapportages en publieksgerichte artikelen ook geproduceerd binnen het deelprogramma Strategisch onderzoek. Binnen het programma Modelbouw kunnen ook research-reports, SCALES papers en wetenschappelijke artikelen verschijnen. Bron: Prestatiemeting KWALITEIT VAN DE OUTPUT In de jaarlijkse prestatiemetingen zijn, zoals gezegd, prestatie-indicatoren en streefwaarden voor kwaliteit opgenomen. Voor de datasets wordt het oordeel van de Adviescommissie Informatiesystemen gebruikt. Deze adviescommissie bestaat uit vier externe deskundigen op het gebied van informatiesystemen met een wetenschappelijke achtergrond (afkomstig van het CBS, Vereniging van Kamers van Koophandel en het Ministerie van EZ). De permanente modellen en researchpublicaties worden beoordeeld door de Commissie SCALES, die bestaat uit zes externe wetenschappers. Voor researchpublicaties wordt ook gemonitord hoeveel publicaties worden geaccepteerd op congressen en door internationale tijdschriften. De publieksgerichte rapporten kunnen worden beoordeeld door downloaders van rapporten (via een on-line-enquête 12 ) en de rapporten worden beoordeeld door een extern communicatiebureau. 12 Downloaders kunnen via internet vrijwillig een formulier invullen, waarin een rapport wordt beoordeeld

18 Alle geformuleerde streefwaarden voor kwaliteit zijn in de periode gehaald door EIM. Het ambitieniveau voor de kwaliteit dat in deze streefwaarden is opgenomen, is in de afgelopen periode licht toegenomen. Hieruit kan worden afgeleid dat het programmaonderzoek volgens de prestatiemetingen aan kwaliteit heeft gewonnen. In bijlage 6B zijn de streefwaarden en prestaties voor kwaliteit in tabellen weergegeven. In het kader van de evaluatie zijn circa 30 gesprekken gevoerd met gebruikers van producten/diensten uit het programmaonderzoek. In de gesprekken is onder meer gesproken over de kwaliteit van de output. Over het algemeen worden de producten positief tot zeer positief gewaardeerd. Het programmaonderzoek wordt door praktisch alle gesprekspartners gezien als een betrouwbare, objectieve kennisbron. Er is weinig tot geen discussie over feitelijke juistheid van kennis vergaard in het kader van het programmaonderzoek. Begin 2004 heeft de programmacommissie in overleg met EIM een aantal gerenommeerde buitenlandse wetenschappers (zie bijlage 7) op het terrein van MKB en Ondernemerschap benaderd voor een peer review van het programmaonderzoek. Hierin is gevraagd naar: De bekendheid met de opzet en resultaten van het programmaonderzoek. Het oordeel over het maatschappelijke belang van het programmaonderzoek. Het oordeel over de kwaliteit van de resultaten van het programmaonderzoek. De uitkomsten van de peer review zijn positief ten aanzien van de kwaliteit, relevantie en de beschikbaarheid van de door EIM verzamelde data en van het door EIM uitgevoerde onderzoek. Illustratief zijn zinssneden als: Generally, I have found the quality of the publications to be very high and the level of scholarship to be sound and authoritative (Robert Blackburn). EIM has set an enviable standard for open access to quality data and excellence in research (Bruce Kirchhoff). Frankly, I consider EIM to be THE premier source of informed assessments on the role of SMEs and new firms in economic development and change in Europe (Paul Reynolds). 3.4 BEREIK EN GEBRUIK VAN DE OUTPUT Het programmaonderzoek richt zich op de opbouw en ontsluiting van kennis over MKB en Ondernemerschap in Nederland. Bij de analyse van effecten van het programmaonderzoek richten we ons dan ook met name op het bereik en gebruik van de output van het programmaonderzoek. Eerst wordt aandacht besteed aan de bekendheid, het bereik en gebruik van het programmaonderzoek in het algemeen. Vervolgens wordt per groep producten een beeld gegeven van het gebruik en de toepassing Bereik en gebruik van het programmaonderzoek In de prestatiemetingen zijn, zoals eerder genoemd, prestatie-indicatoren en streefwaarden opgenomen voor het bereik en maatschappelijk gebruik van het programmaonderzoek. Deze indicatoren hebben betrekking op het gebruik van primaire en secundaire datasets door externen, de verspreiding van research- en publieksgerichte publicaties, aantal hits op website en behandelende informatieverzoeken (via quick services)

19 Daarnaast is gemonitord hoeveel in de pers en in nota s van de kerngebruikers wordt verwezen naar het programmaonderzoek. In bijlage 6C is een overzicht opgenomen van de prestatie-indicatoren en streefwaarden voor het bereik en gebruik van het programmaonderzoek. Tabel 3.3 vat dit samen. Met name het gebruik van publicaties via de website is aansluitend op de enorme ontwikkelingen van dit medium de laatste tijd sterk toegenomen. Dit is ten koste gegaan van het aantal hard copy abonnementen op publicaties. Tabel 3.3 Indicatie van bereik/gebruik van de output in OUTPUT 2003 GEBRUIK IN 2003 Openstelling van datalab Levering van primaire datasets op maat door EIMonderzoekers Datasets Levering van secundaire datasets op maat Publieksgerichte publicaties op website Abonnementen op publieksgerichte publicaties 150 Researchpublicaties op website Abonnementen op research-reports 77 Infoservice (snelle beantwoording van concrete vragen en doorverwijzing naar producten uit het programmaonderzoek) Informatieverzoeken met betrekking tot resultaten van het programmaonderzoek die behandeld worden in 1-8 uur Lezingen 85 Algemene informatie op website 3 datasets zijn in totaal 8 keer gebruikt door 3 verschillende partijen 68 keer hits op website en 112 dataleveranties 92 keer downloads downloads telefoongesprekken 167 Vermeldingen pers 303 Verwijzingen kerngebruikers Quick service mini-onderzoeken Bron: Prestatiemeting ,81 miljoen hits EZ 59 keer, MKB NL en VNO ieder 6 keer 6 mini-onderzoeken Uit tabel 3.3 blijkt dat het programmaonderzoek volop wordt gebruikt. Uit de prestatiemetingen valt niet op te maken welke producten worden afgenomen door de verschillende gebruikersgroepen. Bekendheid van de output In het kader van het onderhavige evaluatieonderzoek is een enquête uitgevoerd onder geregistreerde gebruikers van het programmaonderzoek (zie bijlage 6C, tabel 12 en verder). Hieruit blijkt dat vooral publieksgerichte rapportages en onderzoeksgerichte rapportages grote bekendheid genieten onder de vaste gebruikers; respectievelijk 87% en 69% van de gebruikers kent de producten. De datasets en infoservice zijn relatief minder bekend; respectievelijk 47% en 37% van de gebruikers is hiermee bekend

20 De relatief lage bekendheid van de datasets kan worden verklaard uit het feit dat veel gebruikers geen ruwe data opvragen bij EIM, maar data gebruiken die zijn verwerkt in rapportages. De lage bekendheid van de infoservice is mogelijk te wijten aan het feit dat mensen, die naar EIM bellen en vragen stellen over producten van het programmaonderzoek, zich er niet van bewust zijn dat zij gebruikmaken van de diensten die onder de infoservice vallen. Een dergelijk beeld is bevestigd in de gesprekken die zijn gevoerd met gebruikers. De rapportages vormen in zekere zin het boegbeeld van het programmaonderzoek. Wetenschappers blijken vooral de onderzoeksgerichte rapportages te kennen, de beleidsmakers en MKB-adviseurs vooral bekend zijn met de publieksgerichte rapporten. De databestanden en modellen zijn relatief minder bekend, maar in de gesprekken met gebruikers is aangegeven dat deze in het algemeen nodig zijn voor onderbouwing van de analyses in rapporten. Het bereik van het programmaonderzoek is in het kader van deze evaluatie globaal onderzocht. Op basis van de gesprekken kan worden geconstateerd dat vele beleidsmakers en beleidsadviseurs en koepel- en brancheorganisaties, onderdelen van het programmaonderzoek kennen en gebruiken. Dit geldt ook voor wetenschappers. Onder bedrijven is naar mening van de gesprekspartners de bekendheid en het gebruik veel geringer. Hierbij past de kanttekening, die uit gesprekken met gebruikers van het programmaonderzoek is af te leiden, dat het voor veel van hen onduidelijk is welke rapportages afkomstig zijn uit het programmaonderzoek. Niet de naam Programmaonderzoek MKB en Ondernemerschap, maar de naam EIM wordt verbonden aan de producten. Doordat EIM ook in de markt actief is met onderzoek op het terrein van MKB en Ondernemerschap, is het soms onduidelijk of een product behoort tot het programmaonderzoek of tot de marktactiviteiten van EIM. Verder blijkt dat veel gebruikers maar een beperkt beeld hebben van het aanbod van producten uit het programmaonderzoek. Toch is door gebruikers ook aangegeven dat de ontsluiting van de producten uit het programmaonderzoek, waarbij vooral is gerefereerd aan de rapporten, goed is. Alle publicaties zijn via internet te downloaden. Ook kan EIM vrij gemakkelijk datareeksen leveren die voor gebruikers relevant zijn. Gebruik van de output In de enquête onder geregistreerde gebruikers is verder gevraagd naar het gebruik van de producten uit het programmaonderzoek. Hieruit blijkt dat vooral de publieksgerichte en onderzoeksgerichte rapportages veel worden gebruikt; respectievelijk 91% en 76% van de gebruikers die bekend zijn met deze producten gebruiken ze ook daadwerkelijk. De datasets en infoservice worden relatief minder gebruikt; respectievelijk 43% en 41% van de gebruikers die hiermee bekend zijn, maken er daadwerkelijk gebruik van. Wordt gekeken naar de verschillen tussen gebruikersgroepen dan blijkt dat de publieksgerichte rapporten een brede aftrek hebben. De onderzoeksrapporten worden met name gebruikt door onderwijs/ wetenschap en studenten. De datasets vinden vooral aftrek bij semi-publieke organisaties (bijvoorbeeld Kamers van Koophandel, Syntens), onderwijs/onderzoeksorganisaties en studenten. De infoservice (waaronder de informatietelefoon, vragen via de website en quick service korte vragen) wordt relatief veel benut door overheidsorganisaties, koepelorganisaties en pers/media. Andere partijen, met name wetenschappers, zijn weinig bekend met de quick service korte vragen (1-8 uur) of zijn er wel bekend mee maar maken er geen gebruik van, omdat niet duidelijk is waarin de infoservice kan voorzien

21 Uit gesprekken met gebruikers van het programmaonderzoek blijkt dat de quick service mini-onderzoek (1-5 dagen) relatief onbekend is. Dit is logisch, omdat alleen beleidsmakers in brede zin hiervan gebruik kunnen maken. Concreet gaat het om het Ministerie van EZ, Raad voor Zelfstandig Ondernemerschap, MKB Nederland en VNO-NCW. Harde aanwijzingen voor gebruik van de output volgens prestatiemeting In de prestatiemetingen van het programmaonderzoek meet EIM hoeveel verwijzingen worden gemaakt naar het programmaonderzoek in het algemeen, waarbij het veelal verwijzingen naar publieksgerichte rapporten betreft. In de jaren 2001, 2002 en 2003 werd door de zogenoemde kerngebruikers (EZ, Kamerstukken, MKB Nederland, Raad voor het Zelfstandig Ondernemerschap en VNO-NCW) respectievelijk 55, 66 en 82 keer verwezen naar het programmaonderzoek. In onderstaand overzicht geven we een beeld van de verdeling van de 82 verwijzingen van de kerngebruikers in Tabel 3.4 Aantal verwijzingen naar het programmaonderzoek per kerngebruiker, KERNGEBRUIKER AANTAL VERWIJZINGEN Ministerie van EZ 29 Kamerstukken 30 MKB Nederland 6 RZO 11 VNO-NCW 6 Totaal 82 Bron: Prestatiemeting Uit een analyse van de verwijzingen naar het programmaonderzoek blijkt dat niet alle verwijzingen daadwerkelijk verband houden met producten uit het programmaonderzoek. Hoewel EIM heeft aangegeven dat deze zo goed mogelijk worden gecontroleerd, blijkt dat marktactiviteiten van EIM en resultaten uit het programmaonderzoek wel eens door elkaar lopen Voorbeeld 1: in het kabinetsstandpunt evaluatie Mededingingswet (kamerstuk , 29272, nr. 1) zou verwezen worden naar het programmaonderzoek. Het blijkt te gaan om een verwijzing naar de notitie Samenwerking in het MKB en de Mededingingswet (EIM, Zoetermeer 2002), die geen deel uitmaakt van het programmaonderzoek. Bovendien wordt het betreffende kamerstuk twee keer in de verwijzingenlijst genoemd, zij het onder twee verschillende namen. Voorbeeld 2: in een brief van de staatsecretaris van EZ over toezichthouders in het consumentenbeleid (kamerstuk , 27879, nr. 5) zou verwezen worden naar het programmaonderzoek. Verwezen wordt naar het rapport Van informatie tot handhaving. Een internationale inventarisatie van instrumenten van toezichthouders gericht op consumentenbelangen (EIM, Zoetermeer, februari 2003), dat geen deel uitmaakt van het programmaonderzoek. Voorbeeld 3: in schriftelijke antwoorden van de staatssecretaris van EZ op kamervragen (kamerstuk , 28775, nr. 2) zou worden verwezen naar het programmaonderzoek. In feite noemt de staatsecretaris een onderzoek naar de opzet van het kenniscentrum MVO van bureau Triple Value in samenwerking met EIM, dat geen deel uitmaakt van het programmaonderzoek. Voorbeeld 4: in een brief van de minister van VWS (kamerstuk , 22894, nr. 20) zou worden verwezen naar het programmaonderzoek. Het blijkt te gaan om een verwijzing naar het rapport Accijnsverhoging op tabaksproducten (EIM, Zoetermeer, 2002), dat geen deel uitmaakt van het programmaonderzoek