Netwerken die werken? Netwerkanalyse als instrument voor beleidsevaluatie

Transcriptie

1 Netwerken die werken? Netwerkanalyse als instrument voor beleidsevaluatie bram kaashoek, guido ongena & joerg raab B. Kaashoek Msc is onderzoeker en adviseur bij Dialogic innovatie & interactie. G. Ongena Msc is onderzoeker en adviseur bij Dialogic innovatie & interactie en promovendus Universiteit Twente. Dr. J. Raab is assistent professor Universiteit van Tilburg. Het adres van Dialogic innovatie & interactie is Hooghiemstraplein 33-36, 3514 ax Utrecht 1 Inleiding 55 Netwerken laten werken. We zien steeds meer beleidsinstrumenten die dat in essentie doen. Nieuw is dat niet, zo gaven De Bruijn en Ten Heuvelhof (1995) al de volgende invulling aan het begrip netwerksturing vanuit beleid: de beïnvloeding van maatschappelijke actoren via bestaande of voor dat doel ontwikkelde beleidsnetwerken. Grofweg herkennen wij in de praktijk twee interventietypen om netwerken te laten werken. Ten eerste, het gericht opzetten van een netwerkorganisatie met een bepaald doel. Een voorbeeld is KEI kenniscentrum voor stedelijke ontwikkeling. Veel van deze netwerkorganisaties worden gevormd door zowel publieke als private actoren (PPS). De overheid kan in die gevallen een initiërende, bemiddelende of uitvoerende taak hebben. De Wetenschappelijk Raad voor het Regeringsbeleid (WRR) vult, in een rapport over innovatiebeleid en de rol van netwerken, aan dat de overheid niet per se zelf de intermediair is, maar ook commerciële bemiddeling kan stimuleren of juist obstakels voor samenwerking weg kan halen (WRR, 2008). Spelmanagement en netwerkstructurering als vormen van netwerkmanagement zien we voornamelijk in dit type terug (Klijn, Koppenjan en Termeer, 1993). Het tweede interventietype is het inzetten van beleidsinstrumenten die relaties en netwerkvorming tussen doelgroepactoren stimuleren (eerste orde), maar uiteindelijk leiden tot een groter doel (tweede orde). Het Universum Programma van het Platform Bèta Techniek is een illustratie van zo n interventie. Deze casus staat centraal in dit artikel. Honderd middelbare scholen zijn geselecteerd, die zich nadrukkelijker willen profileren op bèta/techniek onderwijs, het onderwijs in die vakken willen vernieuwen en leerlingen stimuleren door te stromen naar een bètatechnische vervolgopleiding. Gedurende het programma is een

2 netwerk van vooroplopende middelbare scholen gevormd. Scholen die deelnemen aan het Universum Programma delen kennis, ervaringen en ontwikkelde producten met andere scholen in het netwerk. Op die manier wordt geprobeerd om ontwikkelingen in het bètacurriculum te versnellen en een kwalitatief beter en aantrekkelijker aanbod te kunnen neerzetten. 56 Wat is de rationale achter dergelijke instrumenten? Verondersteld wordt dat het verbeteren van inter-organisatorische samenwerking leidt tot (maatschappelijke) effecten zoals innovatie en economische voordelen; zowel op output als outcome niveau. Netwerksturing wordt daarom wel gezien als mobilisatie van hulpbronnen waar actoren over onvoldoende middelen beschikken (Kenis & Schneider, 1991). Immers, binnen een netwerk wordt kennis uitgewisseld en kunnen kosten en personele capaciteit (ook denkkracht) gedeeld worden. Organisaties hoeven zodoende niet steeds zelf het wiel uit te vinden, en complementaire kennis en vaardigheden leiden tot nieuwe combinaties. Ook kan een netwerk gebruikt worden om een (politieke) positie in te nemen of het eigen handelen te legitimeren. Inter-organisatorische samenwerking is zodoende geen doel op zich, maar louter een middel. Met de beleidsinstrumenten die vallen onder het tweede interventietype is in totaliteit een grote publieke investering gemoeid. Reden temeer om effecten van dergelijke beleidsinstrumenten te traceren en analytisch de werking ervan te beschouwen. Het vaststellen van die werking of effectiviteit is gebaseerd op criteria. Aangezien een criterium een norm is, is het vaststellen van resultaat of effectiviteit per se normatief van aard (Kenis & Provan, 2006). Kennis en Provan (2006) stellen daarnaast dat het gebruik van effectiviteitcriteria afhankelijk is van de levensduur en het ontwikkelingsstadium van netwerken. Kortom, sommige tweede orde effecten (mate van effectiviteit van het netwerk), in de trant van nieuwe producten, diensten of procesverbeteringen, laten lang op zich wachten of causaliteit is lastig vast te stellen. Eerste orde effecten als alternatieve en voorlopige criteria, het op gang komen van persistente kennisrelaties en netwerkvorming, kunnen daarentegen in een eerder stadium gemeten worden. In dit artikel beschrijven we aan de hand van een concrete casus netwerkanalyse als onderzoeksinstrument om zulke eerste orde effecten te meten. De volgende vraag staat centraal: waarom en hoe kan netwerkanalyse als beleidsevaluatie instrument bijdragen aan het analyseren van eerste orde effecten van een netwerk? De volgende paragraaf gaat kort in op beleidsevaluatie. In de daaropvolgende paragraaf komen basisprincipes van netwerkanalyse, het gebruik van netwerkanalyse op diverse niveaus (organisatorische inbedding, subnetwerken en totale netwerk) en de kracht van netwerkvisualisaties aan de orde. Bovendien worden in deze para-

3 graaf enkele uitdagingen besproken: waar loopt men mogelijk tegen aan bij het uitvoeren van een netwerkanalyse? De methodologische beschrijving wordt gevolgd door een achtergrondbeschrijving van onze casus. In de vijfde paragraaf worden resultaten van de casus besproken. Het artikel sluit af met een conclusie en aanbevelingen in een beleidscontext. 2 Beleidsevaluatie Het is duidelijk dat het bestuurders en politici niet aan het besef ontbreekt dat netwerkvorming op het gebied van kennisuitwisseling kan bijdragen aan economische opbrengsten. Daarnaast, zo beargumenteren Bongers en Den Hertog (2007), draagt de toenemende politieke aandacht voor beleidsresultaten bij aan de behoefte om beleid te evalueren. Zij beargumenteren dat evaluatie meer is dan een van buitenaf opgelegde verplichting en aandacht voor evaluatieprocessen past in een professionele, continue lerende overheidsorganisatie. Ook wordt de beleidscontext steeds complexer in de zin dat er steeds meer actoren betrokken zijn, stakeholders gemakkelijker hun stem laten gelden, verwachtingen sterk uiteenlopen en beleidsdoelstellingen kunnen verschuiven. Ergo, de vraag naar innovatieve beleidsevaluatiemethoden wordt steeds meer zichtbaar. 57 Om te komen tot evaluatie van beleidsinstrumenten of andere overheidsinterventies kan gebruik gemaakt worden van een divers aanbod van methoden, zoals planevaluatie, procesevaluatie of productevaluatie (Swanborn, 2004). In dit artikel wordt gesteld dat het gros van de dominante kwantitatieve of kwalitatieve dataverzameling- en analysemethoden gericht op het attribuutniveau niet adequaat het ontstaan van netwerkvorming en persistentie van inter-organisatorische relaties in kaart kan brengen. Attribuutvragen in vragenlijsten of interviews bijvoorbeeld, de meest gangbare manier om te vragen naar nieuwe contacten en netwerkvorming, zijn niet in staat om netwerkdynamiek en structuur bloot te leggen. Netwerkanalyse, waarbij het uitgangspunt verwerking van relationele data is, lukt dat wel. Met netwerkanalyse kan men bovendien de balans vinden tussen abstractie van modellering (kwantitatieve rationele onderzoeksbenaderingen) en complexiteit van de werkelijkheid (kwalitatieve methoden). Door in te zoomen op de structuur van het totale netwerk, de eigenschappen van dat netwerk, posities van individuele actoren en deze eigenschappen te relateren aan attributen, ontstaat een uitgebreide structuurbeschouwing. Een uitgebreide structuurbeschouwing wil zeggen dat de structuur van het netwerk en de posities van alle actoren zichtbaar worden. Ontwikkelingen in de tijd kunnen bovendien gemakkelijk onderzocht worden. Een

4 bijkomend voordeel, waar we in het volgende hoofdstuk nader bij stilstaan, is het presenteren van netwerkvisualisaties. Zoals gezegd wordt de werkelijkheid niet sec gepresenteerd als rechte telling; dat vergt de nodige interpretatiecapaciteit van gebruikers (beleidsverantwoordelijken, -uitvoerders, enzovoort). Een netwerkvisualisatie draagt daar aan bij. In de volgende paragraaf bespreken we de methodologische achtergrond van netwerkanalyse nader. 3 Het gebruik van netwerkanalyse 58 In de sociale wetenschappen wordt het begrip netwerk vaak en in vele contexten gebruikt. In veel gevallen is het gebruik metaforisch en ontbreekt een scherpe definitie. Ondanks dat, focust de analyse hoofdzakelijk op actoren, karakteristieken, belangen en attributen van actoren, en specifiek het bestaan en uitblijven van relaties tussen actoren. Men kan theoretisch ten minste vier concepten van het begrip netwerk onderscheiden (Raab & Kenis, 2007). Allereerst het concept waarin netwerk is gebruikt als label om een specifiek type van sociale structuren te kenmerken. Ten tweede zien we netwerk als concept terug als besturingsvorm van sociale systemen, bijvoorbeeld de coördinatie van sociale activiteiten. Ten derde wordt netwerk in de sociale wetenschappen gebruikt als theoretische container voor relationele variabelen die pogen verschillende sociale, organisatorische en politieke fenomenen te verklaren. Ten slotte noemen Raab en Kenis (2007) het concept waarin netwerk een empirisch instrument is om allerlei structuren te beschrijven. Met netwerk als empirisch instrument is bedoeld dat via conceptualisering sociale structuren beschreven en geanalyseerd kunnen worden. Een netwerk bestaat dan simpelweg uit knooppunten en verbindingen, die een structuur vormen. Over de specifieke vorm van het netwerk worden bij deze benadering vooraf geen aannames gemaakt. Omdat het voor de evaluatie van eerste orde effecten van belang is een meetinstrument te hebben dat vooraf geen aannames over de structuur maakt, sluit de aanduiding van netwerk als empirisch instrument vergeleken met de andere aanduidingen het best bij de context van dit artikel aan. In de volgende subparagraaf gaan wij dan ook nader in op dat vierde concept. Vervolgens wordt het concept gepositioneerd als relevant instrument om eerste orde effecten van innovatiebeleid te meten. 3.1 netwerkanalyse als analytisch kader en empirisch instrument Netwerkanalyse als empirisch instrument is één van de kerninnovaties in de sociale wetenschappen in de afgelopen 30 jaar. Drie factoren hebben sterk bijgedragen aan het succes van netwerkanalyse als instrument. Ten eerste, het centrale aspect is niet

5 zozeer een attribuut van actoren, zoals leeftijd, sociale status en aanleg op het niveau van personen, of omvang, omzet en organisatiecultuur op het niveau van organisaties; het centrale aspect is het ontstaan, bestaan en ontbreken van relaties tussen sociale entiteiten (personen, organisaties) om zo gedrag van actoren te verklaren en te voorspellen (Emirbayer & Goodwin, 1994:1414). De basiscomponenten van alle netwerkanalyses zijn zodoende een set van objecten (knooppunten, posities of actoren) en een set van relaties tussen de objecten (verbindingen, relaties, edges ) (Knoke, 1990). Netwerkanalyse zien we niet als neutrale statistische methode en is ook geen theorie, maar een empirisch instrument om sociale structuren te beschrijven op basis van relaties tussen sociale entiteiten (Kenis & Schneider, 1991). Ten tweede wordt het met netwerkanalyse mogelijk centrale sociaalwetenschappelijke concepten te operationaliseren en te meten, zoals sociale rollen of macht. Er bestaan breed gedragen en gestandaardiseerde methoden voor data-analyse en het meten van structuureigenschappen op het netwerkniveau (centralisatie, mate van hiërarchie, dichtheid, enzovoort) en op het niveau van actoren binnen het systeem (zoals centraliteit, clique lidmaatschap). De belangrijkste maten zijn opgenomen in box 1. Ten derde zijn de statistische procedures die ten grondslag liggen aan het berekenen van de netwerkmaten opgenomen in meerdere standaard rekenen visualisatiesoftwarepakketten. We kunnen stellen dat gebruikmakend van de huidige beschikbare toolbox, netwerkanalyse niet zozeer meer gericht is op het metaforisch begrijpen van de inbedding van actoren in een sociaal netwerk, maar transformeert naar een meer precies, accuraat en bruikbaar instrument voor sociale analyse (Emirbayer & Goodwin, 1994: 1446). 59 Box 1. Belangrijkste maten Op het niveau van actoren: - In degree (mate van inkomende stroom content) en out degree (mate van uitgaande stroom content). In beide gevallen worden het aantal directe relaties met andere partijen binnen het netwerk geteld. Door de uitkomsten te delen door het aantal actoren binnen het netwerk -1, kan een gewogen score berekend worden. - Closeness centraliteit wordt gebaseerd op de totale padlengte van een actor tot alle andere actoren in het netwerk, rekening houdend met indirecte ties13. Het principe is hier dat een actor centraal gepositioneerd is wanneer deze overall de kortste lijnen heeft naar alle andere partijen in het netwerk. - Betweenness centraliteit bekijkt de positie van een actor in het netwerk op basis van het makelaarsprincipe : in welke mate fungeert de actor als een brug tussen bepaalde clusters?

6 60 Op het niveau van het netwerk: - Dichtheid is een maat op het niveau van het netwerk als geheel. Een hoge dichtheid van een netwerk geeft aan dat er veel relaties tussen de actoren zijn. De dichtheid kan variëren van 0 (=geen relaties) tot 1 (=elke actor heeft een relatie met alle anderen binnen het netwerk). In dat laatste geval spreken we van een volledig verknoopt netwerk. - Subgroepen: een aantal organisaties die een hoge mate van samenhang vertonen, maar verder slecht in relatie staan tot het netwerk als geheel (hechte groep). Cliques hebben een specifieke connotatie binnen netwerkanalyse; het gaat hier om een subgroep die volledig verzadigd is. Omdat deze vorm in de praktijk weinig gezien wordt, is er een verbreding naar n-cliques gewenst. De n geeft hier het maximaal aantal padlengtes aan om tot de clique te behoren. Het principe van clans is afgeleid van cliques, alleen wordt een correctie toegepast: nodes worden meegenomen als ze (in)direct met elkaar verbonden zijn, maar alleen als dat gaat via nodes die ook onderdeel zijn van de clique. Op die manier worden uitbijters niet meegeteld. - Gemiddelde intensiteit: indien er een waarde wordt toegekend aan relaties (bijvoorbeeld een frequentie van samenwerking zoals in onze casus) is het mogelijk om op netwerkniveau een gemiddelde intensiteit uit te rekenen. De dichtheid als maat geeft dan eerder een kwantitatieve benadering van de rijkheid van het netwerk (volgroeing), terwijl de gemiddelde intensiteit meer zegt over de kwaliteit van relaties. - Netwerkkwaliteit: in deze maat worden zowel intensiteit als dichtheid meegenomen. Deze maat gaat uit van twee componenten, namelijk de gemiddelde intensiteit van de relaties en het aantal keer dat dit soort relaties voor komt. Het product van beide variabelen geeft een indicatie van de kwaliteit van het netwerk. 3.2 netwerkanalyse als evaluatie-instrument Zoals in de inleiding is aangegeven, willen we netwerkanalyse gebruiken als instrument voor beleidsevaluatie. In de onderstaande figuur is allereerst een bepaalde relationele situatie op tijdstip T0 weergegeven, die verklaard kan worden door een set van condities. Op T1 vindt er een beleidsinterventie plaats gericht op het activeren, stimuleren of bestendigen van relaties binnen een doelgroep van meerdere organisaties. Tijdstip T2 biedt de eerste mogelijkheid om structuurverschillen te observeren en te analyseren. We benadrukken hier dat het creëren van nieuwe inter-organisatorische relaties geen doel op zich is, zoals ook eerder in dit artikel is aangehaald. De theoretische assumptie is namelijk dat het creëren, stimuleren en

7 bestendigen van netwerkrelaties, resulteert in positieve beleidseffecten. Deze tweede orde effecten zijn echter mogelijk pas na een (lange) tijd observeerbaar en kunnen daarom pas op het tijdstip T3 geëvalueerd worden. Figuur 1: Model voor netwerkananlyse 61 In onze casus (zo zullen we in paragraaf 4 uitgebreider zien) neemt de beleidsvoerder aan dat een toename van onderling samenwerkende scholen en het ontstaan van kennisnetwerken met (lokale) bètatechnische bedrijvigheid zou bijdragen aan een aantrekkelijker aanbod van bètaonderwijs. Als gevolg werd een betere instroom in bètatechnische vervolgopleidingen bij hogescholen en universiteiten verwacht om uiteindelijk meer bèta s op de arbeidsmarkt te krijgen. Dat is dus een proces, dat vaak meerdere jaren betreft en veel andere invloedsfactoren kent. Op basis van inzichten uit de literatuur kan men evenwel verwachten dat relatievorming waarschijnlijk een positief effect op deze uitkomst zal hebben. Zo beweren Burt (2005), Granovetter (1972) en Uzzi (1997) dat actoren beter presteren als zij in kwantitatieve en kwalitatieve zin beter zijn ingebed in hun sociale omgeving. Uit de literatuur volgt bovendien dat inter-organisatorische relaties voor betrokken organisaties nieuwe informatie opleveren, leereffecten teweeg brengen en resulteren in betere prestaties, omdat actoren zo: (i) te weten komen wat anderen weten, (ii) kennis van anderen op waarde kunnen schatten, (iii) toegang krijgen tot gedachten en inzichten van anderen en (iv) kosten van het zoeken naar informatie en het bepalen van de waarde daarvan kunnen evalueren (Borgatti & Cross, 2003). Ander onderzoek heeft aan het licht gebracht dat positieve effecten van inbedding voornamelijk gelden onder specifieke eigenschappen. Sampson (2007) noemt in die context onder andere de cognitieve nabijheid van twee organisaties, Cohen en Levinthal (1990) benadrukken absorptievermogen van organisaties bij kennisover-

8 dracht. Om te komen tot leereffecten en voordelen op het vlak van effectiviteit, dienen organisaties in onze cases scholen - inter-organisatorische relaties aan te gaan die benodigde kennis kunnen inbrengen. Netwerkanalyse is daarom aan de ene kant een geschikt instrument binnen de productevaluatie (Swanborn 2004), i.e. een instrument voor het vaststellen van eerste orde effecten. Omdat deze (relationele) effecten noodzakelijk zijn, om de tweede order effecten te bereiken, zou netwerkanalyse bovendien als instrument voor een procesanalyse kunnen worden gebruikt, i.e. als instrument om initiële reacties van de actoren te meten en als nodig in het proces bij te sturen. 4 Universum Programma: landelijk netwerk van middelbare scholen voor bètatechniek 62 Nederland loopt internationaal niet voorop als het gaat om het aantal bètaopgeleiden. Vergeleken met andere Europese landen scoort Nederland laag in termen van het aantal Nederlandse bèta- en techniekafgestudeerden aan een HBO of universiteit (Innovatieplatform, 2008). In lijn met de Lissabon-doelstellingen, die in 2000 zijn geformuleerd, hebben de EU-lidstaten afgesproken om Europa te maken tot een hoogwaardige kenniseconomie in Omdat voor de ontwikkeling en toepassing van technologiegedreven innovaties goed opgeleide bètatechnici cruciaal zijn, vormt een tekort hieraan een knelpunt. In dat licht heeft het Kabinet-Balkenende II in 2003 het Deltaplan Bèta/Techniek gelanceerd om het tekort aan bètatechnici aan te pakken. Dit plan beoogt 15% meer uitstroom uit hogere bètatechnische opleidingen in 2010 ten opzichte van 2000 (Ministerie van OCW, 2003) en een betere benutting van bestaand talent in onderwijs, bedrijven en onderzoeksinstellingen. Gekozen is voor een aanpak om in de hele keten, van primair onderwijs tot de arbeidsmarkt, de keuze voor bètatechniek aantrekkelijker te maken. Het Deltaplan gaat uit van een bottom-up benadering: het is aan onderwijsinstellingen en bedrijven zelf om bètatechniek aantrekkelijker maken. De regie van de uitvoering van het Deltaplan ligt bij een nieuw opgerichte, tijdelijke, organisatie: Platform Bèta Techniek. Deze organisatie heeft verschillende innovatieprogramma s ingericht door de gehele onderwijsketen. Eén daarvan is het Universum Programma dat zich richt op bètavernieuwing in het middelbaar onderwijs, specifiek op havo en vwo. De door ons uitgevoerde netwerkanalyse heeft specifiek de structuren van het Universum Programma in kaart gebracht. Het Universum Programma beoogt scholen te stimuleren zich te profileren op bèta/techniek, het onderwijs in die vakken te vernieuwen en aantrekkelijker te maken voor leerlingen, opdat zij kiezen voor een

9 Natuur/Techniek of Natuur/Gezondheid vakkenprofiel en vervolgens doorstromen naar een bètatechnische vervolgopleiding. Gedurende het programma is een netwerk van vooroplopende middelbare scholen gevormd. Scholen die deelnemen aan het Universum Programma delen kennis, ervaringen en ontwikkelde producten met andere scholen in het netwerk. Op die manier wordt geprobeerd om ontwikkelingen in het bètacurriculum te versnellen en een kwalitatief beter en aantrekkelijker aanbod te kunnen neerzetten. De selectie van middelbare scholen, om te komen tot het netwerk, is in vier etappes gedaan op basis van het backing the winners concept (AWT, 2003). Het resultaat van de selectie is een primair netwerk van 120 middelbare scholen en een groep zogenaamde volgscholen van ongeveer dezelfde omvang. Iedere Universumschool werkt namelijk samen met ten minste één volgschool; een school die in beginsel niet aan de eisen voldoet om toe te treden tot het primaire netwerk, maar wel potentie heeft om onder de hoede van een vooroplopende school snel te leren. Geselecteerde scholen ontvangen, bij goed presteren, een financiële vergoeding over drie jaar voor de eigen ontwikkeltrajecten en activiteiten gericht op kennisdeling met anderen. De selectie van de vier tranches is gebaseerd op, ten eerste, de mate waarin scholen actief betrokken zijn bij vernieuwing van bètaonderwijs in brede zin. Verankering van en draagvlak voor de vernieuwingsinitiatieven in het instellingsbeleid gelden als cruciale randvoorwaarden. Ten tweede is rekening gehouden met de bètaprestaties van middelbare scholen, uitgedrukt in meerjarige gemiddelden van het aandeel leerlingen met een natuurprofiel en doorstroomquotes van bètaleerlingen naar bètatechnische vervolgopleidingen in het hoger onderwijs Eerste resultaten casus: een nadere beschouwing van eerste orde effecten In bovenstaande context is netwerkanalyse gebruikt als evaluatiemethode om eerste orde effecten bloot te leggen. De start van het Universum Programma is in dit geval de beleidsinterventie (conform figuur 1). In deze netwerkanalyse staat de volgende doelstelling centraal: Het inzichtelijk maken van de totale netwerkstructuur van het Universum Programma (op het netwerkniveau) om zo verschillen te traceren tussen de huidige stand van zaken en de uitgangssituatie, voorafgaand aan het programma. Ofwel, in hoeverre heeft deze beleidsinterventie bijgedragen aan netwerkvorming, en op welke manier? In totaal zijn honderd middelbare scholen aangeschreven voor het invullen van de vragenlijst. De totale respons bedroeg 96%. De samenwerking tussen de middelbare scholen kent verschillende vormen, bijvoorbeeld materiaal- en organisatieontwik-

10 64 keling. Materiaalontwikkeling is hier gedefinieerd als de gezamenlijke ontwikkeling en/of uitwisseling van lesmodules en -materiaal binnen de bètavakken voor havo en vwo leerlingen. Aan de andere kant vindt er samenwerking op het gebied van organisatieontwikkeling plaats. Organisatieontwikkeling heeft hierbij betrekking op de uitwisseling van kennis van en ervaring met andere organisatievormen van de bètatechnische vakken op het vwo en de havo, zoals roosterindelingen waarbij rekening is gehouden met natuurtechnische proeven of de opzet van vakoverstijgende activiteiten. Zoals reeds vermeld is netwerkvorming voor het Universum Programma van elementair belang. Het Platform Bèta Techniek faciliteert deze netwerkvorming met focusgroepen, thematische bijeenkomsten en landelijke bijeenkomsten. Om te meten of netwerkvorming toeneemt, vindt er naast een nulmeting een vervolgmeting plaats. Om die reden is niet alleen een onderscheid gemaakt tussen verschillende vormen van samenwerking en de frequentie van deze interactie, maar is in de vragenlijst eveneens het onderscheid gemaakt tussen samenwerking op dit moment en samenwerking die al voorafgaand aan het programma bestond (retrospectief). 5.1 structuur van het universum programmanetwerk De structuur van het netwerk, voor en na toetreding tot het Universum Programma staat gepresenteerd in figuur 2. 1 De knooppunten in deze figuur zijn de deelnemende middelbare scholen in het Universum Programma. Voor de relaties tussen de scholen is de frequentie van de interactie tussen de scholen op verschillende manieren weergegeven. De dikte van de pijl is recht evenredig aan de mate van interactie. Anders gesteld, hoe dikker de lijn tussen de knooppunten, hoe hechter de samenwerking in de werkelijkheid is. De weergave van het netwerk is geoptimaliseerd voor subgroepen. Dit houdt in dat de actoren met onderlinge relaties dicht bij elkaar zijn geplaatst. Daarnaast is bij de weergave van het netwerk uitgegaan van de gedachte dat men in het bijzonder geïnteresseerd is in de regionale dimensie van samenwerking. Het is immers aannemelijk dat scholen op korte afstand elkaar gemakkelijker opzoeken. Deze regionale dimensie is in figuur 2 uitgedrukt door middel van het herkenbaar maken van de verschillende provincies. Hierbij is elke provincie van een eigen gradatie voorzien.

11 Figuur 2: Samenwerking tussen vo-scholen op het gebied van materiaal voor en na toetreding tot het Universum Programma 2005 (voor Universum Programma) 2007 (huidige situatie) Legenda onregelmatige contacten laagfrequente contacten (een paar keer per jaar contact of minder) hoogfrequente contacten (meer dan een paar keer per jaar contact) resultaten van netwerkgroei Uit de visualisatie komt naar voren dat het netwerk door de tijd in meerdere opzichten is gegroeid. Naast de globale interpretatie van netwerkeffecten op basis van de netwerkvisualisatie, stelt netwerkanalyse ons in staat de groei te kwantificeren. Hiervoor zijn enkele indicatoren gedefinieerd. Allereerst is het aantal actoren, middelbare scholen in deze casus, toegenomen. Voor toetreding van het Universum Programma waren er 147 actoren, dit in tegenstelling tot 230 actoren in De verklaring hiervoor is enerzijds gelegen in het feit dat minder geselecteerde scholen in 2007 geen enkele kennisrelatie hadden in tegen stelling tot de beginperiode. Immers, in de netwerkvisualisatie zijn alleenstaande scholen niet meegenomen. Anderzijds kunnen de eerste kring scholen, die geselecteerd zijn in het kader van het Universum Programma, ook samenwerken met scholen buiten die selectie. Ook die scholen hebben zij kunnen noemen in de vragenlijst. Additioneel kunnen wij concluderen dat het aantal relaties toeneemt. Uiteraard wordt deze toename, voor een deel, al verklaard door het gestegen aantal actoren. Echter, de groei komt vooral voort uit een toename van de onderlinge verknoping van de bestaande actoren. Voor toetreding tot het Universum Programma waren er 190 relaties aanwezig. Nu zijn er 424. De derde indicator voor netwerkgroei is de intensiteit van de relaties, in ons geval gemeten aan de hand van de gemiddelde frequentie van samen-

12 werkingsverbanden. Ook hierin is een duidelijke groei geconstateerd. De gemiddelde intensiteit voor toetreding bedroeg 1,78, in 2007 was dat gemiddeld 2,19. De intensiteitschaal kent vijf punten, lopend van een keer per jaar (waarde 1) tot en met vrijwel dagelijkse kennisuitwisseling (waarde 5). 66 Een alternatieve maat voor het aantal relaties in een netwerk is de dichtheid. De dichtheid wordt berekend door het aantal feitelijk bestaande relaties te delen door het theoretische maximum. Bij dat maximum zou er sprake zijn van een volledig verknoopt netwerk in dat geval zou elke middelbare school met elke andere school in het netwerk verbonden zijn. De dichtheid van het netwerk in 2005 ligt rond de 2%, waar de dichtheid in ,4% bedroeg. Als laatste groei indicator introduceren wij de netwerkkwaliteit. Deze maat gaat uit van twee componenten, namelijk de gemiddelde intensiteit van de relaties en het aantal keer dat dit soort relaties voor komt. Het product van beide variabelen geeft een indicatie van de kwaliteit van het netwerk. Ook in deze laatste indicator is een stijging gemeten over de twee meetpunten. 5.3 nabijheid en geografische clustering Aan de hand van de visualisatie van het netwerk en typering van de actoren op basis van de regio-indeling kan het belang van regionale samenwerking worden opgemaakt. De subgroepen in de netwerken vallen vrijwel naadloos samen met de provincie categorisering. In figuur 2 komen de clusters Noord-Holland en Limburg bijvoorbeeld duidelijk naar voren; in de figuur aangegeven met blok A en B. Fysieke nabijheid is blijkbaar een belangrijke verklarende factor voor het ontstaan van samenwerkingsverbanden: korte afstanden zorgen ervoor dat kennis gemakkelijk face-to-face overgedragen kan worden. Ook zijn reistijd- en kosten lager. De netwerkanalysemethode maakt het mogelijk deze regionale clusters in kaart te brengen en op basis daarvan te interveniëren in het netwerk. Het Universum Programma is hierdoor in staat succesverhalen in provincies op te schalen door deze toe te passen in andere provincies die hiervoor geschikt zijn. Daarnaast kan het Universum Programma gebruik maken van de aanwezige regionale structuur van het netwerk voor aansturing, bijvoorbeeld het organiseren van regionale bijeenkomsten of het selecteren van een regionale netwerkregisseur. Binnen het Noord-Hollandse subnetwerk (blok A) is de sterkste dichtheid waar te nemen in figuur 2. Een belangrijke oorzaak van dit verknoopte netwerk is een ander initiatief in deze regio dat parallel loopt aan het Universum Programma. In de regio Noord-Holland is namelijk het initiatief Bètapartners opgezet. Dit initiatief kent sterke overeenkomsten met het Universum Programma. Bètapartners is

13 een netwerk waarin scholen, hoger onderwijsinstellingen en het bedrijfsleven samenwerken om de kwaliteit en het imago van bètaonderwijs te verbeteren. Deze organisatie ambieert dezelfde doelstelling als het Universum Programma, gebaseerd op het eerder besproken Deltaplan. We concluderen, onder andere op basis van het bovenstaande, dat formalisering van samenwerkingspatronen bijdraagt aan verdichting van het netwerk en intensivering van de relaties binnen dat netwerk. Nu beleidsmatig de vraag aan de orde is hoe het effect van het Universum Programma duurzaam kan worden ingebed, lijkt formalisering een van de mogelijke strategieën. Te overwegen is daarom om na te gaan welke bestaande netwerkorganisaties in deze context relevant zijn. 5.3 netwerkrollen binnen het universum programmanetwerk Net als in een netwerk waarbij de actoren personen representeren, kunnen ook binnen een inter-organisatorisch netwerk rollen worden toegekend. Binnen het Universumnetwerk is een aantal scholen dat een centrale rol speelt in hun eigen subgroep en daarnaast een brugfunctie vervult naar andere subgroepen. Deze zogenaamde brokers zijn een spil in netwerk en makelen tussen twee subnetwerken (Aldrich, 1982). In figuur 2 zijn twee brokers omcirkeld. Brokers zijn belangrijk voor processen van kennisuitwisseling. Deze organisaties zijn in staat invloed uit te oefen op het feitelijk verspreiden van informatie en kennis in een bepaald subnetwerk. Deze middelbare scholen moeten zodoende in staat zijn om effectief te participeren als intermediaire organisatie binnen een subnetwerk. Een logische vervolgvraag voor het Universum Programma, in dit licht, is om systematisch na te gaan welke middelbare scholen in het Universumnetwerk zo n centrale rol vervullen. Door beter zicht te krijgen op de Universumscholen die een broker functie vervullen kan het programma effectiever sturen op diffusie van bruikbare voorbeelden en kennis. Bovendien kan op basis van een overzicht van waar broker scholen gelokaliseerd zijn, ook vastgesteld worden in welke regio dergelijke verbindende scholen juist ontbreken. In die regio s kunnen scholen met broker potentieel het diffusieproces van bruikbare voorbeelden gaan toepassen binnen hun regio Conclusie en aanbevelingen In de vorige paragraaf zijn resultaten en conclusies op het niveau van de casus gepresenteerd, onderstaand beantwoorden wij de hoofdvraag van dit artikel: Waarom en hoe kan netwerkanalyse bijdragen aan het meten van eerste orde effecten van innovatiebeleid?

14 conclusie Allereerst kan gesteld worden dat het gebruik van netwerkanalyse als instrument voor beleidsevaluatie aansluit bij het toenemende belang en de aanwezigheid van netwerkorganisaties; netwerken die binnen beleidsdomeinen zijn geïnitieerd, zoals het eerder genoemde KEI centrum en zorgnetwerken, en inter-organisatorische constructies die voortkomen uit stimuleringsregelingen. Het feit dat in toenemende mate netwerken met beleidsinterventies worden gestimuleerd, heeft zodoende invloed op de behoefte aan meetinstrumenten die gebruikt kunnen worden om effecten te meten. Netwerkanalyse als methode voldoet aan die behoefte. Daarnaast is netwerkanalyse, consistent met het standpunt van Kenis en Provan (2006), geschikt om vroegtijdig een inschatting te maken van de voortgang van netwerkontwikkeling en effectiviteit. Dit als eerste orde effecten van beleid. Immers, tweede orde effecten zijn nauwelijks op korte termijn te meten, terwijl publieke investeringen flink op kunnen lopen. Netwerkanalyse in de context van beleidsevaluatie is zodoende vooral een aanbevelenswaardig instrument als inhoudelijke effecten worden beoogd via netwerkvorming. De uitkomst van de analyse (mate waarin netwerkvorming op gang komt) is dan een indicatie voor uiteindelijke doelbereiking. Netwerkanalyse als onderzoeksinstrument kan daarnaast bijdragen aan het meten van eerste orde effecten, doordat op basis van één meting inzicht verschaft wordt op vier institutionele niveaus: op het niveau van de afzonderlijke organisaties binnen het netwerk, relaties tussen twee participerende organisaties, op het niveau van een subnetwerk of cluster en, ten slotte, het gehele netwerkniveau. Op die manier kan bovendien onderzocht worden wat de rol van bepaalde organisaties, of een relatie tussen twee organisaties, is voor de structuur van het totale netwerk. Bij kennisuitwisseling is dat bijvoorbeeld van belang. Zonder een detailanalyse van het inter-organisatorische netwerk zijn deze actoren of relaties nauwelijks te identificeren. Centrale actoren die de brug slaan tussen verschillende clusters of subnetwerken (brokers) kunnen voor de beleidsinterventie juist van groot belang zijn. Het snel kunnen traceren van die actoren middels netwerkanalyse is daarom interessant vanuit een beleidsperspectief. Afhankelijk van het doel en de focus van een interventie kan relevante informatie ontleend worden aan de doorsneden van het netwerk per niveau. In het geval van onze casus bijvoorbeeld is het allereerst relevant om ontwikkelingen op netwerkniveau te analyseren. Ook zicht op regionale clusters en de functie van afzonderlijke scholen kan gebruikt worden als indicator van het beleidssucces.

15 Uiteraard kan na verloop van tijd, als het netwerk zich verder heeft ontwikkeld en ontplooid, gemeten worden op aanwezigheid van tweede orde effecten. Daarnaast kunnen meerdere tussentijdse metingen op de netwerkstructuur worden uitgevoerd, zodat een longitudinaal inzicht ontstaat. Beleidsmakers kunnen dan goed de ontwikkelingen op detailniveau volgen: waar ontstaan relaties en structuren, hoe ontwikkelt de intensiteit van relaties zich, verdichten kloven tussen clusters, etcetera? Bij meerdere metingen kunnen beleidsmakers bovendien verschillende aansturingmodellen vergelijken en dat meenemen in de (verfijning van de) beleidsinterventie. Ter illustratie: uit onze casus blijkt regionale subnetwerken het meest voorkomen. In het vervolg kan de ondersteuning van middelbare scholen regionaal worden opgezet om tegemoet te komen aan dit netwerkgedrag. Een punt dat longitudinale meting lastig maakt, is het hoge responspercentage dat vereist is om netwerken te interpreteren. Bij multipele metingen door de tijd heen is het daarom noodzakelijk om respondenten vast te houden en continue een hoog responspercentage te verkrijgen. Bovendien wordt van respondenten verwacht dat zij een overzicht hebben van de bestaande relaties; mogelijk is dat in de praktijk niet altijd het geval. Pragmatische oplossingen zullen dan gezocht moeten worden, bijvoorbeeld door meerdere personen binnen een organisatie te vragen naar relaties met externe partijen. 69 Netwerkanalyse is daarnaast geschikt voor complexere vormen van samenwerking, omdat meerdere vormen van content onderzocht kunnen worden. Het is bijvoorbeeld denkbaar dat een publieke organisatie binnen een publiekprivaat onderzoeksnetwerk wel bepalend is voor strategische agendasetting, maar een minder grote rol speelt bij inhoudelijke kennisuitwisseling. Kortom, complexiteit van relaties kan ondervangen worden door zogenaamde content van relaties (inhoudelijke samenwerking, geldstromen, strategische allianties, etcetera) apart te analyseren en visualiseren. Rijkheid van informatie gaat daarmee niet verloren. Wel is voorzichtigheid bij de interpretatie van netwerkstructuren in dit kader gepast: denk aan de situatie waarin een actor negatief beoordeeld wordt in een netwerkstructuur die helemaal niet relevant is voor die actor. Een anekdote is bekend waarin een directeur van een grote Amerikaanse onderneming kritisch wees naar een niet-centrale actor in een intra-organisatorische netwerkvisualisatie van zijn bedrijf. De directeur was te snel met zijn oordeel: de niet-centrale actor bleek hij zelf te zijn in een netwerkvisualisatie gebaseerd op facilitaire dienstverlening in de onderneming. De content (inhoud) van een relatie bepaalt zodoende grotendeels de structuur van een netwerk.

16 aanbevelingen Als aanbeveling willen we ten eerste meegeven dat evaluatieonderzoek steeds meer verrijkt zou moeten worden met netwerkanalyses, bij voorkeur als aanvulling in plaats van substitutie. Door de toenemende stimulering van inter-organisatorische netwerken vanuit het beleid ontstaat namelijk de behoefte aan een onderzoeksinstrument dat om kan gaan met de specifieke eigenschappen van netwerken. Dat netwerkanalyse tegemoet komt aan die behoefte hebben we zojuist uiteengezet; in de evaluatiepraktijk blijft het gebruik van netwerkanalyses echter nog beperkt. Een andere aanbeveling is het verplicht stellen van deelname aan de nulmeting (T0), zodra organisaties gebruik gaan maken van een beleidsinstrument waarbij netwerkvorming een centraal aspect is. Op die manier kan gemakkelijk de status quo van reeds bestaande samenwerkingsrelaties bepaald worden voordat de beleidsinterventie effecten kan hebben. Ook wordt dan zeker voldaan aan de hoge eis die methodologisch gesteld wordt aan het responspercentage. Beperkt zien wij dit in de praktijk terug: het Platform Bèta Techniek heeft het invullen van een vragenlijst gericht op netwerkrelaties verplicht gesteld voor organisaties die gebruik willen maken van één van hun regelingen. Ten slotte merken wij op dat praktijkgericht onderzoek naar inter-organisatorische netwerken en effecten daarvan achter blijft. Al jaren wordt netwerkonderzoek verricht, maar de focus is toch primair wetenschappelijk. In toegepast (beleids)onderzoek komt netwerkanalyse slechts mondjesmaat voor. Meer zicht op de relatie tussen beleidsinterventies en veranderingen in (bestaande) netwerken (eerste orde effecten), en de relatie tussen die veranderingen en resultaten (tweede orde effecten) past in de behoefte van de huidige en toekomstige beleidscontext. In lijn daarmee willen wij onderzoekers uitdagen om beter inzichtelijk te maken binnen welke type evaluatieonderzoek netwerkanalyse dienstig kan zijn. Vooralsnog lijkt de nadruk in de praktijk te liggen op summatieve evaluaties, maar mogelijk kunnen toepassingen van netwerkanalyse ook zeer waardevol zijn in meer formatieve evaluatiestudies. Literatuur Adviesraad voor het Wetenschaps- en Technologiebeleid, Backing winners. Van generiek technologiebeleid naar actief innovatiebeleid, AWT-advies nr. 53, Den Haag, Aldrich, H., The origins and persistence of social networks, in: P. Marsden & N. Lin (red.), Social structure and network analysis, Beverly Hills, Barney, J.B., Firm resources and sustained competitive advantage, in: Journal of management, 1991, nr. 17(1), p

17 Borgatti, S.P. & R. Cross, A relational view of information seeking and learning in social networks, in: Management science, 2003, nr. 49(4), p Brandes, U., P.N. Kenis & J. Raab, Explanation through network visualization, in: Methodology, 2006, nr. 2(1), p Burt, R.S., Brokerage and closure. An introduction to social capital, Oxford, Bongers, F. & P. den Hertog, Vernieuwing van methoden voor beleidsevaluatie, in: Bestuurswetenschappen, 2007, nr. 61(3), p Cohen, W.M. & D.A. Levinthal, Absorptive-capacity. A new perspective on learning and innovation, in: Administrative science quarterly, 1990, nr. 35(1), p De Bruijn, J. & E.F. Ten Heuvelhof, Netwerkmanagement, strategieën, instrumenten en normen, Utrecht, Emirbayer, M. & J. Goodwin, Network analysis, culture, and the problem of agency, in: American journal of sociology, 1994, nr. 99(6), p Granovetter, M.S., The strength of weak ties, in: American journal of sociology, 1973, nr. 78(6), p Grant, R.M., Prospering in dynamically-competitive environments. Organizational capability as knowledge integration, in: Organization science, 1996, nr. 7(4), p Hjelt, M., P. den Hertog & R.A. te Velde, Major challenges in national research and innovation policy governance. Comparison and assessment of the approaches in the VISION Era-Net partner countries, Helsinki, Innovatieplatform, Nederland in de wereld. Versterken van de concurrentiekracht voor de toekomst van Nederland, Den Haag, Kenis, P. & K.G. Provan, Towards an exogenous theory of public network performance. Paper presented at The determinants of Performance in Public Organizations II - workshop at the University of Hong Kong, 8 December Kenis, P. & V. Schneider, Policy networks and policy analysis. Scrutinizing a new analytical toolbox, in B. Marin & R. Mayntz (eds.), Policy networks. Empirical evidence and theoretical considerations, Frankfurt, Klijn, E-H., C.J.A.M. Termeer & J.F.M. Koppenjan, Van beleidsnetwerk naar netwerkmanagement: een theoretische verkenning van managementstrategieën in netwerken, in: Beleid en Maatschappij, 1993, nr. 20(5), p Knoke, D., Political networks. The structural perspective, Cambridge, Man, A.P. de & G.M. Duijsters, De positie van Nederlandse bedrijven in innovatienetwerken, Den Haag, Man, A.P. de & G.M. Duijsters, Samenwerking en innovatie. Literatuuroverzicht van de relatie tussen innovatiekracht en interorganisatorische samenwerking, Den Haag, Ministerie van Onderwijs, Cultuur en Wetenschap, Deltaplan bèta techniek. Actieplan voor de aanpak van tekorten aan bèta s en technici, Den Haag,

18 Raab, J. & P. Kenis, Taking stock of policy networks. Do they matter?, in: F. Fischer, J.G. Miller & M.S. Sidney (red.), Handbook of public policy analysis. Theory, politics, and methods, New York, Sampson, R.C., R&D alliances and firm performance. The impact of technological diversity and alliance organization on innovation, in: Academy of management journal, 2007, nr. 50(2), p Swanborn, P.G., Evalueren, Amsterdam, Torre, A. & J-P Gilly, On the analytical dimension of proximity dynamics, in: Regional studies, 2000, nr. 34(2), p Uzzi, B., Social structure and competition in interfirm networks. The paradox of embeddedness, in: Administrative science quarterly, 1997, nr. 42(1), p Wetenschappelijke Raad voor het Regeringsbeleid, Innovatie vernieuwd. Opening in viervoud, Amsterdam, Noot 1 De visualisatie is gemaakt met het gratis beschikbare programma Visone ( (Brandes, Kenis, Raab 2006).