Academiseren en evalueren Hoe evaluatie kan bijdragen aan de academisering van de publieke gezondheidszorg Marjan Hoeijmakers 1, Maria Jansen 1 Gelijktijdig met de uitvoering van het programma van de Academische Werkplaats Publieke Gezondheid Limburg wordt een evaluatiestudie gedaan. Deze evaluatie heeft zowel een procesvolgend als beoordelend karakter. De academische werkplaats beoogt de samenwerking tussen beleid, onderzoek en praktijk te bevorderen en daarmee de kennisontwikkeling en -implementatie in de publieke gezondheidszorg. Het betreft een complex veranderingsproces waarbij veel actoren betrokken zijn. De vraag is hoe dit proces en de resultaten ervan goed in kaart gebracht kunnen worden zonder dat de succescriteria vooraf bekend zijn. We beschouwen het gebruik van programmatheorie in deze situatie als een hulpmiddel. Programmatheorie biedt in evaluatie houvast om stapsgewijs te bekijken of het programma daadwerkelijk werkt zoals het verondersteld wordt te doen en of het daardoor de beoogde resultaten behaalt. Aannames over wat de academische werkplaats volgens betrokken actoren moet doen en moet opleveren zijn in Limburg echter nog nauwelijks geëxpliciteerd. Het hier gepresenteerde onderzoeksdesign voor de evaluatie biedt daarom ruimte om betrokkenen met elkaar in dialoog te brengen over hun ervaringen met de samenwerking in kennisontwikkeling en hun wensen en ideeën ten aanzien van de academische werkplaats. Dit artikel presenteert verder de voorlopige programmatheorie van de Academische Werkplaats Publieke Gezondheid Limburg die in deze dialoog verder geëxpliciteerd zal worden. Trefwoorden: academische werkplaats, evaluatie, programmatheorie 1 Academische Werkplaats Publieke Gezondheid Limburg, GGD Zuid Limburg Inleiding Voor een succesvolle aanpak van de actuele, vaak complexe volksgezondheidsproblemen wordt een effectieve samenwerking tussen beleid, onderzoek en praktijk als noodzakelijk beschouwd. 1,2 Deze functioneren echter als tamelijk gescheiden domeinen. 2-4 Dit stagneert de ontwikkeling van een adequate evidence base voor het beleidsmatig en uitvoerend handelen in de (lokale) public health. 4-7 In Nederland is daarom ingezet op academisering van de publieke gezondheidszorg ofwel van de GGD, gestimuleerd door academische werkplaatsen. 8 In mei 2006 is de Academische Werkplaats Publieke Gezondheid Limburg van start gegaan. Deze academische werkplaats heeft (als enige in het land) gekozen om een meerjarige evaluatiestudie uit te voeren, naast het programma gericht op de bevordering van de samenwerking tussen beleid, onderzoek en praktijk. Men wil, zoals in de subsidieaanvraag beschreven staat, namelijk inzicht verkrijgen in de rol van de academische werkplaats en de effecten van zijn functioneren op lokaal gezondheidsbeleid en evidence-based werken van de GGD. 9 Een andere vraag is wat het effect van de werkplaats is op het werk van de universiteit. In feite is het doel van de evaluatie tweeledig: 1) formatief: procesvolgend en in opbouwende zin bijdragen aan het proces van academisering en 2) summatief: vaststellen hoe succesvol de academische werkplaats (in de gekozen vorm) is. Het was op voorhand echter niet zo duidelijk wát precies geëvalueerd moet worden in de samenwerking tussen beleid, onderzoek en praktijk. Dit heeft verschillende redenen. De eerste reden is dat de samenwerkingspartners in beleid, onderzoek en praktijk gescheiden van elkaar werken. De tweede reden is dat academisering van de publieke gezondheidszorg een breed concept is waarvan de reikwijdte in deze setting nog niet duidelijk is. Derde punt is dat de samenwerkingspartners (op zowel bestuurlijk, institutioneel en individueel niveau) ieder een eigen rol moeten vervullen en daarmee samenhangend specifieke verwachtingen, wensen en ideeën bij de academische werkplaats hebben en wat deze op termijn moet opleveren. Deze verschillende perspectieven zijn in tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 334 / www.tsg.bsl.nl TSG 86 / nummer 6 334
Kernpunten Zuid-Limburg nog nauwelijks door de partners besproken, laat staan met elkaar in overeenstemming gebracht. Samengevat betreft het een complex veranderingsproces waarbij de vraag voorligt hoe dit proces en de opbrengsten goed in kaart gebracht kunnen worden, zonder dat vooraf de succescriteria of een standaard waartegen beoordeeld kan worden bekend zijn. Het gebruik van programmatheorie kan hier een handvat bieden. Een programmatheorie of logisch model is een set van aannames (beliefs, hypotheses) waarop een programma is gebaseerd. Het verklaart de (oorzakelijke) verbindingen tussen input en te verwachten uitkomsten. 10-12 Evaluatie maakt gebruik van programmatheorie door te bekijken of het programma daadwerkelijk werkt zoals het verondersteld wordt te doen en of het daardoor de beoogde resultaten behaalt. In evaluatieonderzoek wordt veelal gepleit voor het gebruik van programmatheorie omdat evaluatie het meest ideaal kan verlopen indien de verschillende stappen in detail in de praktijk gevolgd en beoordeeld kunnen worden. 13 Het gebruik van programmatheorie lijkt dus nuttig maar de programmatheorie waar de Academische Werkplaats Publieke Gezondheid Limburg op rust is niet op voorhand duidelijk. Er is namelijk niet één onderscheidende theorie die van toepassing is op het samenwerkings- en veranderingsproces dat de academische werkplaats wil bevorderen. De Academische Werkplaats Publieke Gezondheid Limburg steunt op dertig door Jansen, 2 op basis van theoretische inzichten geïdentificeerde praktische strategieën die de determinanten van samenwerking beïnvloeden. Afhankelijk van de context, het actieniveau (bestuurlijk, institutioneel en individueel), wordt een strategie gekozen. De aannames over de werking en resultaten van een programma zitten naast een theoretische onderbouwing ook voor een belangrijk deel in de hoofden van betrokkenen en andere belanghebbenden bij het programma. Deze, vaak impliciete aannames behoeven in de Limburgse academische werkplaats nog verdere uitwerking. Op basis van voorgaande probleemstelling(en) hebben we de volgende onderzoeksvragen geformuleerd. De centrale vraagstelling luidt: Hoe draagt de Academische Werkplaats Publieke Gezondheid Limburg bij aan het academiseringsproces in de publieke gezondheidszorg en hoe succesvol is de academische werkplaats? De subvragen zijn: 1 Welke programmatheorie ligt aan de basis en hoe wordt deze gerealiseerd?. De Academische Werkplaats Publieke Gezondheid Limburg is gericht op de bevordering van de samenwerking tussen beleid, onderzoek en praktijk in de publieke gezondheidszorg. Een evaluatiestudie begeleidt het programma van deze academische werkplaats.. Voor de evaluatie is gekozen voor een casestudy met voldoende ruimte voor de participatie van belanghebbenden. De studie is procesvolgend en meet de effecten van de academische werkplaats.. De evaluatie maakt gebruik van programmatheorie: een set van aannames waarop een programma is gebaseerd. Er is door de onderzoeker een voorlopige programmatheorie opgesteld die met belanghebbenden verder zal worden ontwikkeld. 2 Hoe ziet het samenwerkingsnetwerk eruit en hoe verandert dit in de tijd? 3 Hoe succesvol is de academische werkplaats in het bevorderen van de samenwerking en ontwikkeling van een effectieve aanpak in de publieke gezondheidszorg? In dit artikel beschrijven we de manier waarop we deze vragen over enige tijd willen beantwoorden. Onderzoeksopzet De gegeven situatie en onderzoeksvragen vragen om een onderzoeksdesign dat ruimte laat voor een participatieve, responsieve benadering. De betrokkenheid en actieve bijdrage van stakeholders bij (evaluatie) onderzoek wordt om uiteenlopende redenen steeds meer gewaardeerd. 11,14-21 In deze specifieke evaluatiestudie is de participatie van stakeholders uit beleid, onderzoek en praktijk gewenst om:. te ontdekken wat academisering van de publieke gezondheidszorg inhoudt,. hun wensen en ideeën over de academische werkplaats te leren kennen,. in combinatie met theoretische noties over de samenwerking tussen beleid, onderzoek en praktijk en aan de hand van een blauwdruk, de programmatheorie te formuleren,. resultaten te genereren die waardevol zijn voor het veranderingsproces waar betrokkenen in zitten,. draagvlak voor de resultaten te creëren,. bij te dragen aan de koers van de academische werkplaats. We kiezen voor een casestudie omdat dit design: 1) aandacht geeft aan sociale interacties en de betekenis die deelnemers aan het bestudeerde verschijnsel en aan elkaar geven, 22 2) recht doet aan de gegeven hoe en waarom vragen over de (samenwerkings)relaties tussen actoren en hun zienswijzen, 3) de verwevenheid van het verschijnsel met de natuurlijke omgeving waarin het zich voordoet als uitgangspunt neemt en niet los van elkaar ziet of door de onderzoeker wil laten controleren, 22,23 en 4) een intensieve, procesvolgende werkwijze hanteert waarin diverse methoden en databronnen worden gebruikt wat goed aansluit bij de formatieve doelstelling van de studie. Case studies maken verder gebruik van analytische generalisatie. Dit betekent dat empirische gegevens worden vergeleken met vooraf geformuleerde theorie. In deze studie wordt daarvoor een programmatheorie ontwikkeld en de realisatie ervan gevolgd en beoordeeld. De resultaten (interpretatie van de data) worden, ten slotte, met de onderzochten gedeeld en gecheckt op relevantie en juistheid. 24 We gaan in deze studie nog een stap verder tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 335 / www.tsg.bsl.nl TSG 86 / nummer 6 335
door de bevindingen actief te laten bijdragen aan de koers van de academische werkplaats. Evaluatie in fasen De evaluatiestudie verloopt in vier fasen. De eerste fase is een verkenning van het samenwerkingsnetwerk tussen beleid, onderzoek en praktijk, en een verkenning met belanghebbenden van hun ideeën, wensen en verwachtingen ten aanzien van academisering en de academische werkplaats. Hiervoor worden netwerkanalyse (aan de hand van vragenlijsten), interviews en focusgroepen ingezet. De fase daarna is gericht op verdere explicitering en aanscherping van onderliggende aannames bij het functioneren van de academische werkplaats en de formulering van intermediaire en finale uitkomstmaten. Dit gaat gebeuren in focusgroepen waarin betrokkenen met elkaar in dialoog gebracht worden. Deze fase wordt naar verwachting afgesloten met een Delphi-ronde onder een grotere groep belanghebbenden. In de derde fase wordt met de vastgestelde indicatoren de voortgang en effecten van het academiseringsproces en de samenwerking tussen beleid, onderzoek en praktijk gemeten. De vierde en laatste fase is bedoeld voor afsluitende rapportages. De procesevaluatie, gericht op wat is geïmplementeerd en hoe (goed) dit is gebeurd, is een continue activiteit. Hierin worden zowel de ervaringen van betrokken actoren als feitelijkheden opgenomen. Deze evaluatie loopt wel gedurende het hele onderzoek maar kan in fase drie veel gerichter uitgevoerd worden nadat de programmatheorie is geëxpliciteerd. Het doel van procesevaluatie is verbetermogelijkheden aangeven en voorzien in interpretatie van opgetreden effecten. De eerste fasen van de evaluatie kunnen door hun participatieve en dialogische karakter in positieve zin bijdragen aan het academiseringsproces. Dit geldt ook voor de procesevaluatie waarin de tussentijdse resultaten worden gedeeld met direct betrokkenen bij de academische werkplaats. Programmatheorie Academische Werkplaats Publieke Gezondheid Limburg Een programmatheorie is het resultaat van een interactief en iteratief proces van de onderzoeker met belanghebbenden bij het programma. Het combineert literatuur (theoretische modellen) met de aannames van belanghebbenden over de werking van het programma. 25 Een programmatheorie bevat volgens Weiss 11 de volgende onderdelen: 1) programma input: de randvoorwaarden zoals geld, personeel, 2) programma activiteiten: de manier waarop het programma uitgevoerd wordt, 3) intermediaire uitkomsten: de reactie die de activiteiten veroorzaken en die vervolgens leiden tot 4) de gewenste eindresultaten. Rossi et al (2004) specificeren deze componenten nog verder. Zij delen de programmatheorie eerst in tweeën: de procestheorie en de impacttheorie, en vervolgens in kleinere componenten. In de procestheorie gaat het om de aannames over het organisatieproces (welke middelen en organisatie van het programma zijn adequaat om de beoogde activiteiten, diensten te kunnen leveren), het leveringsproces (wat nodig is om de programmaonderdelen te implementeren of wel de gewenste output te leveren) en de output. De impacttheorie bevat de aannames over het veranderingsproces die de interventies teweeg zullen brengen. Met andere woorden hoe worden de gewenste resultaten stapsgewijs behaald. Aan de hand van de indeling van Rossi et al. is een voorlopige programmatheorie opgesteld voor de Academische Werkplaats Publieke Gezondheid Limburg Deze programmatheorie, gepresenteerd in figuur 1, is een vereenvoudigd model waar de belangrijkste processen, output en uitkomsten in zijn opgenomen. Dit voorlopige model is ontwikkeld op basis van de huidige structuur en werkwijze, literatuur, gesprekken met belanghebbenden en analyse van bestaande documenten over de academische werkplaats. Alvorens naar deze programmatheorie te gaan presenteert de volgende paragraaf kort het principe van de academische werkplaats in Limburg. Beschrijving Academische Werkplaats Publieke Gezondheid Limburg De Academische Werkplaats Publieke Gezondheid Limburg is een samenwerkingsverband tussen de negentien Zuid-Limburgse gemeenten, de GGD Zuid-Limburg inclusief de 0-4 jarige jeugdgezondheidszorg (JGZ) van de thuiszorgorganisaties (noot 1), de Faculty of Health, Medicine and Life sciences van de Universiteit Maastricht (UM) en het academische ziekenhuis Maastricht (azm). Deze kernpartners hebben een gezamenlijk programma opgesteld onder de titel Promoting physical and mental fitness. Evidence into practice and practice into evidence: closing the circle. De focus van de academische werkplaats ligt op de jeugdgezondheidszorg en gezondheidsbevordering. De gedachte achter het programma is dat beleid, praktijk en onderzoek zouden moeten toegroeien naar een structurele samenwerking. Het gaat hierbij enerzijds om de academisering van de GGD ofwel de wetenschappelijke onderbouwing van de publieke gezondheidszorg en anderzijds om de vermaatschappelijking van de universiteit waardoor het wetenschappelijk onderzoek meer maatschappelijke betekenis en nut krijgt. De doelstelling van de academische werkplaats is daarmee te onderscheiden in een organisatorische en een inhoudelijke. Organisatorisch gezien beoogt de academische werkplaats een infrastructuur te realiseren die concrete samenwerking gemakkelijk maakt: waarbinnen de partners met elkaar in dialoog komen, cultuurverschillen overbruggen en een gezamenlijke aanpak van vraagstukken in de volksgezondheid realiseren. Deze infrastructuur ziet u hierna verder uitgewerkt in de procestheorie. Inhoudelijk gezien streeft de werkplaats naar wetenschappelijk onderbouwd gezondheidsbeleid en evidence-based handelen in de praktijk om zo doende de kwaliteit van de publieke gezondheidszorg te verbeteren en het effect op de gezondheid van de Zuid-Limburgse burger te vergroten. Deze doelstelling ziet u verder uitgewerkt in de impacttheorie. tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 336 / www.tsg.bsl.nl TSG 86 / nummer 6 336
PROGRAMMATHEORIE Academische Werkplaats Publieke Gezondheid Limburg Procestheorie Impacttheorie Algemene organisatie Stuurgroep- DB Programmaleider Ambassadeurs Communicatie, PR Input Geld, ICT, cursus, positie programmaleider, dubbelaanstelling Organisatieproces Samenwerkingsovereenkomst Begeleidingsgroepen Leveringsproces Bevorderen determinanten van samenwerking op bestuurlijk, institutioneel en individueel niveau Scholing: referaten, aio-onderwijs, Matserclass Afdelingen GGD en UM stimuleren en faciliteren: onderzoeksassistentie, laptop, promotoren, overleg Georganiseerde bijeenkomsten: begeleidingsgroepen, uitwisseling expertise en kennis Output In samenwerking onderzoek uitvoeren: van promovendi en masterclass studenten Ontwikkeling gezamelijke data-infrastructuur Proximale uitkomsten Betrokkenen weten elkaar te vinden, kennen elkaars expertise en weken concreet samen, gezamelijk onderzoek, nieuwe aanvragen, adviezen Nieuwe, toegepaste kennis Bruikbare producten voor professionals in praktijk en beleid Artikelen, presentaties Cultuur GGD/ gemeente waarin wetenschappelijke onderbouwing de norm is, cultuur UM is meer gericht op toegepast onderzoek Intermediaire uitkomsten Structurele, continue samenwerking tussen wetenschap, beleid en praktijk in aanpak nieuwe vraagstukken en gedeelde datainfrastructuur Samenwerkings netwerken zijn geïntegreerd Academisering geïntegreerd binnen GGD/ gemeente Wetenschappelijk onderbouwde beroepsuitoefeningen en lokaal gezondheidsbeleid Finale uitkomsten De kwaliteit van de publieke gezondheidszorg in Zuid-Limburg is verbeterd De gezondheid van de Zuid- Limburgse bevolking is verbeterd Onderzoekskennis aanwezig en over organisatie verdeeld, voldoende ondersteuningscapaciteit UM en GGD-afdelingen Figuur 1 Programmatheorie Academische Werkplaats Publieke Gezondheid Limburg Procestheorie De procestheorie staat in figuur 1 aan de linker zijde, verdeeld over drie kolommen. We beschrijven deze componenten van links naar rechts. Output Output betreft de programmaonderdelen die afgeleverd moeten worden om de gewenste veranderingen (uitkomsten) te realiseren. De belangrijkste output van het programma van de Academische Werkplaats Publieke Gezondheid Limburg zijn promotie- en masterclassonderzoeken, en een gezamenlijk toegankelijke data-infrastructuur. Begin 2007 zijn vanuit de ZonMw-subsidie zes, en vanuit additionele financiering nog eens drie promovendi aangesteld om in een deel van hun aanstelling als professional onderzoek te doen vanuit de GGD-praktijk. In deze onderzoeken staat de dialoog met data centraal. Met de term data worden hier niet alleen epidemiologische gegevens over de volksgezondheid bedoeld maar alle typen gegevens en kennis die uit onderzoek beschikbaar zijn of komen. Voor de periode tot eind 2010 zijn onderzoeksvoorstellen geselecteerd die voortkomen uit praktijkvragen van GGD en gemeenten. Deze onderzoeken zijn gericht op: verbetering van het gebruik van de JGZ-data door jeugdartsen en -verpleegkundigen, het gebruik van schooldata om schoolgezondheidsbeleid te bevorderen, het vinden van succesvolle indicatoren waarmee een wijkgerichte aanpak ingebed kan worden in tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 337 / www.tsg.bsl.nl TSG 86 / nummer 6 337
regulier beleid, en het initiëren van een proces om tot integraal beleid voor overgewicht te komen. Daarnaast is in 2008 een Masterclass Wetenschappelijke Vorming voor Professionals in de Publieke Gezondheid gestart: 21 Limburgse en Brabantse professionals waarvan twee gemeentelijke beleidsmedewerkers, acht jeugdartsen en elf preventiemedewerkers nemen deel. Universitaire medewerkers verzorgen op interactieve wijze het onderwijs en bieden individuele begeleiding. In deze Masterclass zijn praktijk- en beleidsvragen uitgangspunt. De deelnemers identificeren een probleem uit de eigen setting en vertalen dit vervolgens in een onderzoeksopzet die ze zelf uitvoeren. Het onderzoek wordt afgerond met een publicatie. Het doel van de in ontwikkeling zijnde data-infrastructuur is meerledig. De door onderzoek en in de professionele praktijk (routinematig) verzamelde data moeten ondersteunend zijn aan het zorgproces en op geaggregeerd niveau snel toegankelijk te maken zijn voor beleidsmakers en onderzoekers. Het moet bovendien kunnen fungeren als een steekproefregister voor specifiek wetenschappelijk onderzoek. Leveringsproces Om de voorgestane output (onderzoeken en data-infrastructuur) te kunnen leveren dienen specifieke activiteitenondernomenteworden.hetbetrefthierhoofdzakelijk de activiteiten die de samenwerking bevorderen en structureren. Het leveringsproces onderscheidt drie actieniveaus. Aangenomen wordt dat alle drie de niveaus tegelijkertijd maar met verschillende acties bediend moeten worden. Het eerste actieniveau is het bestuurlijke niveau, hier worden strategische beslissingen genomen. Of op dit niveau de samenwerking goed verloopt wordt vooral bepaald door macht, leiderschap en middelen. 26,27 Hiervoor dient onder andere de stuurgroep als onderdeel van het hierna beschreven organisatieproces continue actief onderhouden te worden. Op institutioneel niveau leveren afdelingsmanagers en vakgroepvoorzitters vooral de randvoorwaarden voor samenwerking in onderzoek en onderwijs. Dit vraagt om ontwikkeling van de organisatie naar een andere werkcultuur, het opbouwen van capaciteit om tot samenwerking te komen en leiderschap. 28-31 Concreet gaat het bijvoorbeeld om het ter beschikking stellen van tijd en middelen om relevante vraagstukken te laten onderzoeken of bij te dragen aan scholing en begeleiding van onderzoek in de praktijk. Op het individuele niveau, tot slot, leveren onderzoekers, beleidsmedewerkers en praktijkprofessionals een gezamenlijke bijdrage aan kennisontwikkeling en -implementatie. In deze samenwerking zijn kennis, houding, ervaren sociale norm, uitkomstverwachting, bekwaamheid en vertrouwen in eigen kunnen belangrijke aspecten. 32 Begeleidingsgroepen, scholing en andere (uitwisselings)bijeenkomsten bieden gelegenheid om actief te leren en om bovengenoemde aspecten in de juiste richting te beïnvloeden (noot 2). Organisatieproces Om het leveringsproces gericht op het bevorderen van de samenwerking tussen beleid, onderzoek en praktijk succesvol te laten verlopen is een passende organisatie en voldoende input noodzakelijk. De organisatie van de Academische Werkplaats Publieke Gezondheid Limburg is gebaseerd op empirische bevindingen en ziet er als volgt uit:. een paritair samengestelde stuurgroep met zes leden: GGD-directie/gemeente en vakgroepvoorzitters van Universiteit Maastricht (UM)/Academisch ziekenhuis Maastricht (AzM), en een dagelijks bestuur. een samenwerkingscontract waarin de inbreng van elk vandepartijenisvastgelegd. een programmaleider die een brugfunctie vervult tussen de actoren uit de drie domeinen, randvoorwaardelijke zaken organiseert en over de werkplaats communiceert. (onderzoek)begeleidingsgroepen waarin ten minste een wethouder, een gemeentelijke beleidsmedewerker, universitair medewerker, (co)promotor en afdelingshoofd participeren en die gelegenheid bieden tot uitwisseling en actief leren van elkaar. ambassadeurs : wethouders volksgezondheid treden op als verbindende schakel tussen de verschillende actieniveaus. een communicatieplan met onder andere een officiële kick-off in 2007 en een maandelijkse digitale nieuwsbrief Naast deze organisatiestructuur zijn ook een aantal randvoorwaarden georganiseerd (de input voor het programma). Deze bestaan voornamelijk uit: financiële middelen o.a. subsidie, ICT, opleiding, onderzoeksassistentie en dubbelaanstellingen (van GGD- en gemeentelijke medewerkers bij de UM zodat bijvoorbeeld toegang tot de universiteitsbibliotheek en een werkplek mogelijk is). Uitgangspunt is dat de deelnemende partners (ook) eigen middelen en menskracht vrijmaken om het programma uit te kunnen voeren. Impacttheorie In figuur 1 is de rechter helft de impacttheorie. Deze bevat de beoogde uitkomsten en de veranderingen die geacht worden hieraan vooraf te gaan. We lichten de drie kolommen toe van links naar rechts. Proximale uitkomsten De proximale uitkomsten zijn de directe reacties die de geleverde output oproept. In de onderzoeken van de promovendi en masterclassstudenten en de ontwikkeling van een gezamenlijke data-infrastructuur werken onderzoekers, beleidsmedewerkers en professionals concreet samen. Dit betekent dat men elkaar regelmatig ontmoet en met elkaar van gedachten wisselt. Hier is de veronderstelling dat men meer kennis krijgt van elkaars expertise en elkaar hierdoor gemakkelijk weet te vinden voor advies en nieuwe aanvragen voor onderzoek. Betrokkenen worden gestimuleerd om kennis te delen, kennis te wegen, kennis te ontwikkelen en kennis te gebruiken. 7 Dit proces resulteert, zo is de aanname, in tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 338 / www.tsg.bsl.nl TSG 86 / nummer 6 338
nieuwe, toegepaste kennis die verwerkt wordt tot bruikbare producten voor beleidsmakers en praktijkprofessionals en tot artikelen, proefschriften en presentaties voor de academische wereld. De onderzoeken van GGD-medewerkers en masterclassdeelnemers zullen een proces van cultuurverandering in de bestaande organisaties in gang zetten. De betrokkenheid bij onderzoeksactiviteiten zal zich uitspreiden naar collega s, managers en bestuurders. De wetenschappelijke onderbouwing van het handelen in gezondheidsbeleid en praktijk zal de norm worden in de gemeentelijke en GGD organisatie. De cultuur op de universiteit zal zich meer gaan richten op toegepast onderzoek die om een sterkere waardering voor maatschappelijk relevant onderzoek vraagt. Ten slotte zal al doende meer onderzoekskennis aanwezig zijn in de gemeentelijke- en GGD-organisatie en weten universitaire medewerkers beter hoe gebruik te maken van de professionele organisatie. De afdelingen van zowel GGD/gemeenten en universiteit nemen de ondersteuningscapaciteit op in hun routine. Intermediaire uitkomsten Deze directe veranderingen, indien gecontinueerd, leiden op hun beurt tot een structurele samenwerking tussen beleid, onderzoek en praktijk in de aanpak van nieuwe vraagstukken in de volksgezondheid. Dit geldt ook voor het onderhoud en gedeeld gebruik van de opgezette datainfrastructuur. Aangenomen wordt dat regelmatige samenwerking resulteert in geïntegreerde samenwerkingsnetwerken, veronderstellende dat de actoren uit alle drie de domeinen (gelijkwaardig) zullen participeren. De veranderende organisatiecultuur in zowel de academische als professionele en bestuurlijke organisatie wordt in eerste instantie verwacht te leiden tot een organisatie die academisering geïntegreerd heeft in missie, doelen, jaarplannen en uitvoering. Cultuurveranderingen in combinatie met de in bruikbare producten verpakte nieuwe kennis worden geacht te resulteren in wetenschappelijk onderbouwde beroepsuitoefening en lokaal gezondheidsbeleid. Finale uitkomsten De intermediaire uitkomsten leiden naar verwachting tot een verbeterde kwaliteit van de publieke gezondheidszorg en daarmee positieve effecten op de gezondheid van de burger in Zuid-Limburg. Het meten van deze finale uitkomsten valt echter buiten het bestek van de evaluatiestudie omdat deze uitkomsten zich pas op lange termijn zullen voordoen. Bovendien zijn die effecten van veel meer factoren afhankelijk dan de interventies van de academische werkplaats. Tot slot De programmatheorie van de Academische Werkplaats Publieke Gezondheid Limburg zoals die hier (in concept) beschreven is dient als input voor de tweede fase van de evaluatiestudie. Belanghebbenden uit beleid, onderzoek en praktijk werkzaam op bestuurlijk, institutioneel en individueel niveau zullen hierover met elkaar in gesprek gaan. Deze dialoog resulteert naar verwachting in een helder beeld over het programma van de academische werkplaats en draagt tegelijkertijd bij aan het academiseringsproces. Noot 1 Waar GGD of JGZ staat vermeld wordt de 0-19 jarige JGZ bedoeld, inclusief de 0-4 jarige JGZ die in Zuid Limburg door de thuiszorg wordt uitgevoerd. 2 Zie ook elders in dit TSG nummer: Jansen MWJ, De Vries NK, Kok G, Van Oers JAM. Samenwerking tussen beleid, praktijk en onderzoek in de publieke gezondheidszorg: resultaten van een multiple-case studie. Dankwoord Wij danken ZonMw voor de verleende subsidie om de beschreven evaluatiestudie uit te kunnen voeren (projectnr 7125.0001) en dr. Janneke Harting voor haar kritische blik en opbouwende suggesties bij het schrijven van dit artikel. Abstract How evaluation research contributes to the development of academic public health Closely connected to the programme of the Academic Collaborative Centre for Public Health Limburg (ACC) an evaluation study is implemented. The purpose of this evaluation is formative and summative. The ACC aims to bridge the gap between policy, practice and research in public health and to improve the collaboration between these domains. It concerns a complex process of change in which many actors are involved. The question is how to come to grips with this process and to assess its results, without knowing beforehand the criteria of success. We arguethattheconceptofprogrammetheorycanbeanaid for this situation. Programme theory helps to find out whether the theories on which the programme is based are realised in action and if the desired results are achieved. However, the assumptions of stakeholders on the functioning of the ACC and its benefits are not clear yet. Therefore the chosen design for the evaluation study presented here gives room to the participation of stakeholders. The study brings stakeholders in policy, practice and research together in dialogue on their collaboration experiences and views on the ACC. This paper also presents the tentative programme theory of the ACC which will be elaborated further in dialogue. Keywords: Academic Collaborative Centre - evaluation - programme theory Literatuur 1. RVZ. Publieke Gezondheid. Den Haag: Raad voor de Volksgezondheid en Zorg, 2006. 2. Jansen M. Mind the gap: Collaboration between practice, policy and research in local public health. Maastricht: Maastricht University, 2007. 3. Leeuw E de, Mc Ness A, Stagnitti K, Crisp B. Acting at the Nexus. Integration of Research, Policy and Practice. Melbourne: Deakin University, 2007. tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 339 / www.tsg.bsl.nl TSG 86 / nummer 6 339
4. RGO. Advies kennisinfrastructuur Public Health: kennisverwerving en toepassing. Den Haag: Raad voor Gezondheidsonderzoek, 2003. 5. McQueen DV. Strengthening the evidence base for health promotion. Health Promot Int 2001;16:261-8. 6. Nutbeam D. Getting evidence into policy and practice to adress health inequalities. Health Promot Int 2004 b;19:137-40. 7. Saan H, Haes W de. Gezond effect bevorderen. Het organiseren van effectieve gezondheidsbevordering. Woerden: Uitgeverij NIGZ, 2005. 8. ZonMw. Programma Academische Werkplaatsen Publieke Gezondheid 2005-2008. Aan tafel! Den Haag: ZonMw, 2005. 9. Jansen M, Hagenouw R, Vries NK de, Spreeuwenberg C. Van praktijk naar bewijsvoering en beleid en vice versa. Subsidieaanvraag ZonMw nr4946. 2006. 10. Rossi PH, Lipsey MW, Freeman HE. Evaluation. A Systematic Approach. 7th ed. Thousand Oaks, London, New Dehli: SAGE Publications, 2004. 11. Weiss C. Evaluation. Methods for studying Programs and Policies. 2nd ed. New Jersey: Prentice Hall, 1998. 12. Julian DA. The utilization of the logic model as a system level planning and evaluation device. Evaluation Program Planning 1997;20(3):251-7. 13. Birckmayer JD, Weiss CH. Theory-based evaluation in practice. What do we learn? Evaluat Rev 2000;24(4):407-31. 14. Abma TA, Widdershoven GAM. Responsieve methodologie. Interactief onderzoek in de praktijk. Den Haag: LEMMA, 2006. 15. Butterfoss FD, Francisco VT, Capwell EM. Stakeholder Participation in Evaluation. Health promotion Practice 2001;2(2): 114-9. 16. Hoeijmakers M. Local health policy development processes. Health promotion and network perspectives on local health policy-making in the Netherlands. Maastricht: University Maastricht, 2005. 17. Koelen MA, Vaandrager, L., Colomér, C. Health promotion research: dilemmas and challenges. J Epidemiol Commun Health 2001;55:257-62. 18. Potvin L, Richard L. Evaluating community health promotion programmes. In: Rootman I, Goodstadt M, Hyndman B et al (eds). Evaluation in health promotion Principles and perspectives. first ed. Copenhagen: WHO (EURO), 2001. p. 213-40. 19. Schwandt TA. Understanding Dialogue as Practice. Evaluation 2001;7(2):228-37. 20. Springett J. Participatory approaches to evaluation in health promotion. In: Rootman I, Goodstadt, M, Hyndman B et al (eds). Evaluation in health promotion Principles and perspectives: World Health Organisation, 2001b. p. 83-105. 21. Wallerstein N, Polascek M, Maltrud K. Participatory Evaluation Model for Coalitions: The development of Systems Indicators. Health Promot Pract 2002;3:361-73. 22. Swanborn PG. Case-study s: Wat, wanneer en hoe? 2 ed. Amsterdam/Meppel: Boom, 2000. 23. Yin RK. Case Study Research. Design and Methods. second ed. London, new Dehli, Thousand Oaks: Sage Publications, Inc, 1994. 24. Hammersley M, Gomm R. Introduction. In: Gomm R, Hammersley M, Foster P, (eds). Case Study Method Key Issues, Key Texts. London, Thousand Oaks, New Delhi: SAGE Publications Ltd., 2000. 25. Donaldson SI, Gooler, L.E. Theory-driven evaluation in action: lessons from a $20 million statewide Work and Health Initiative. Evaluation Planning 2003(26):355-66. 26. Greiner LE, Schein VE. Power and organization development: mobilising power to implement change. Addison-Wesley: Reading Mass, 1998. 27. Plsek PE, Wilson T. Complexity, leadership, and management in healthcare organisations. BMJ 2001 29;323(7315):746-9. 28. Cummings TG, Worley CG. Organization development and change. Australia: South-Western College Publishing, 2001. 29. Fleuren MAH, Wiefferink CH, Paulussen TGW. Determinants of innovations within health care organizations: Literature review and Delphi-study. Int J Quality Health Care 2004:107-23. 30. Hawe P, Noort M, King L, Jordens C. Multiplying health gains: the critical role of capacity-building within health promotion programs. Health Policy 1997;39:29-42. 31. Steckler A, Goodman RM, Kegler MC. Mobilizing organizations for health enhancement In: Glanz K, Rimer BK, Lewis FM (eds). Health behavior and health education Theory, research and practice. 3 ed. California: Jossey-Bass, 2002. p. 335-60. 32. Glanz K, Rimer BK, Lewis FM, editors. Health behavior and health education. Theory research and practice. 3 ed. San Francisco: Jossey-Bass, 2002. Correspondentieadres Mevr. M. Hoeijmakers, GGD-ZL, Postbus 2022, 6160 HA Geleen, tel. 0468505550, e-mail: marjan.hoeijmakers@ggdzl.nl Voor publicatie aanvaard in augustus 2008. tsg jaargang 86 / 2008 nummer 6 Academiseren en evalueren - pagina 340 / www.tsg.bsl.nl TSG 86 / nummer 6 340