Van evalueren naar verkennen

Transcriptie

1 Van evalueren naar verkennen Dit artikel betoogt dat het rapport van de Algemene Rekenkamer uit de jaren negentig van de vorige eeuw de katalysator vormde voor de professionalisering van het communicatieonderzoek: een systematische evaluatie van Postbus 51 campagnes en het testen van communicatiemiddelen. De onverwachte opkomst van de LPF, begin van deze eeuw, zorgde voor een verbreding van het communicatieonderzoek: naast evalueren en testen ook onderzoek om een strategie te bepalen en meningen te verkennen. Tegenwoordig wordt communicatieonderzoek ingezet om continu de vinger aan de pols te houden van de samenleving. Algemene Rekenkamer In 1991 verscheen het rapport van de Algemene Rekenkamer (1) naar de doelmatigheid van voorlichtingscampagnes van het Rijk. De onderzoekers concludeerden dat het schortte aan een doelmatige voorbereiding, uitvoering en evaluatie van de voorlichtingscampagnes. Doelstellingen werden nog al eens te ambitieus geformuleerd en effecten van de campagnes waren in de meeste gevallen niet of nauwelijks aantoonbaar. Het rapport leidde tot bezuinigingen op het voorlichtingsbudget en tot een professionalisering van het communicatieonderzoek. De Dienst Publiek en Communicatie van het ministerie van Algemene Zaken heeft hierbij het voortouw genomen en er veel aan gedaan om onderzoek naar meer verantwoording over de resultaten van voorlichtingscampagnes op gang te krijgen. Zo worden sinds 1993 de effecten van massamediale Postbus 51 campagnes systematisch geëvalueerd. Vanaf 1999 gebeurt dit via campagne effectonderzoek. Aangezien ministeries verplicht zijn om hun campagnes met deze methode te evalueren, kunnen de resultaten met elkaar worden vergeleken. Eens per jaar wordt een totaalevaluatie van alle campagnes ter verantwoording naar de Tweede Kamer gestuurd. In dezelfde periode is ook het zogenaamde pretestonderzoek toegenomen. Dit onderzoek, waarbij concept communicatiemiddelen onder de doelgroep getest worden, heeft veel kennis opgeleverd over wat wel en niet werkt met massamediale campagnes en specifieke communicatiemiddelen (folder, tv-spot, radiospot). Communicatieonderzoek: van evalueren naar verkennen - Pagina 1

2 LPF De onverwachte opkomst van de LPF in 2002 deed het besef groeien dat de politiek onvoldoende in staat was om de gevoelens van de bevolking aan te voelen. Het rapport van de commissie Wallage (2) en daarop volgend het rapport van de commissie Wolffensperger (3) zien communicatie in het hart van beleid als dé manier om de kloof tussen de burger en de overheid te dichten. Communicatie in het hart van beleid wil zeggen dat bij de totstandkoming van beleid de mening en de wensen van de burger meegewogen worden. Zo wordt vroegtijdig aan draagvlak voor het overheidsbeleid gewerkt. De commissie Wolffensperger pleitte dan ook voor meer kennis over en contact met de samenleving door enquêtes, consultatie en expertmeetings. Opzetten van monitoren als reactie Het kabinet trok zich de kritiek van beide commissies aan en startte in februari 2003 met een belevingsmonitor. Met dit onderzoek wilde het kabinet inzicht krijgen in de manier waarop burgers van Nederland maatschappelijke vraagstukken en het beleid van de overheid ervaren. Maandelijks werd aan een representatief deel van de Nederlandse bevolking van 16 jaar en ouder gevraagd welke maatschappelijke problemen hen bezighield en in welke mate de overheid daar volgens hen voldoende aandacht aan besteedde. Na een looptijd van drie jaar stopte het kabinet met het onderzoek. Het onderzoek leverde het kabinet onvoldoende handvatten op voor beleid. Het onderzoek is daarna door de Voorlichtingsraad (overlegorgaan van de directeuren Communicatie van alle Ministeries) op afstand gezet en bij het Sociaal en Cultureel Planbureau (SCP) ondergebracht. Het SCP startte in 2008 met het zogenaamde Continu Onderzoek Burgerperspectieven (COB). Het SCP onderzoekt waar burgers zich zorgen over maken, wat ze belangrijk vinden, hoe het met de burger gaat, met de maatschappij en met de politiek. Maar vooral besteedt het COB aandacht aan waarom ze dat vinden. Het COB wordt nog steeds elk kwartaal uitgevoerd. De communicatieafdelingen van de ministeries zetten in deze periode ook zelf monitoren op die worden uitgevoerd onder burgers of andere voor het beleid belangrijke doelgroepen (bij het ministerie van OCW kan dat bijvoorbeeld de ouder van schoolgaande kinderen zijn). Hierin stelt men hen vragen over onderwerpen die binnen het ministerie als beleidsprioriteit of communicatieprioriteit zijn aangewezen. De uitkomsten bieden input voor beleid en voor communicatie. Huidig communicatieonderzoek Tot zover een terugblik op het verleden. De huidige onderzoekspraktijk van communicatieadviseurs en onderzoekers is een geheel andere dan aan het eind van de vorige eeuw. Nu wordt eerst verkennend onderzoek gedaan en worden de gegevens gebruikt om een communicatiestrategie op te stellen. En naast de einddoelgroep (vaak de burger) wordt ook het netwerk waarin wordt samengewerkt, de politiek en de media onderzocht. Het testen van middelen en het evalueren van de gekozen communicatieaanpak vindt nog steeds plaats. Naast de eerder besproken katalysatoren zijn de veranderingen in het communicatieonderzoek mede vorm gegeven door vijf maatschappelijke en technologische ontwikkelingen. Deze worden hieronder kort besproken voordat in een samenvattende figuur aan de hand van vier onderzoekscirkels - het huidige palet aan communicatieonderzoek wordt weergegeven. 1 e ontwikkeling: de mondigere burger De tijd dat burgers alles aannamen wat de overheid zei ligt achter ons. Burgers zijn steeds beter opgeleid en informeren zich via allerlei verschillende bronnen. Communicatieonderzoek: van evalueren naar verkennen - Pagina 2

3 Dat betekent dat overheidscommunicatie geloofwaardig moet zijn en dat het aan moet sluiten bij de leefwereld van de burger. Burgers moeten zich herkennen en aangesproken voelen door het verhaal. Men wil steeds meer informatie op maat. Onderzoek wordt dan ook steeds meer ingezet om na te gaan welke denkkaders ( frames ) burgers hebben en welke associaties ze hebben bij bepaalde onderwerpen. Dit kan door met burgers te praten, te luisteren naar hun verhalen (storypicking) of te luisteren naar hoe ze met anderen praten of chatten over een onderwerp. Gericht onderzoek onder doelgroepen is nodig om de juiste strategie te bepalen voor de inzet van communicatie. 2 e ontwikkeling: diversificatie van het medialandschap In de laatste 20 jaar zijn er steeds meer informatiekanalen bijgekomen. Hierdoor kan de burger kiezen op welke manier hij of zij informatie tot zich neemt. Zo zijn er naast de drie publieke zenders vele commerciële zenders gekomen. Naast betaalde kranten zijn er ook gratis kranten en er komen steeds meer digitale kranten. Het medialandschap is divers geworden en burgers kiezen zelf welke media ze gebruiken voor welk type informatie. Dit betekent dat de communicatieadviseur steeds beter zicht moet hebben op het informatiezoekgedrag van zijn doelgroep. Onderzoek is nodig om de juiste keuzes te bepalen. 3 e ontwikkeling: de netwerksamenleving Door de veranderende rol van de Rijksoverheid en de mondigere burger is steeds meer sprake van een netwerksamenleving. De overheid is niet dé bepalende partij, maar moet samen optrekken met anderen om iets voor elkaar te krijgen. Voor sommige beleidsthema s zijn beleidsmedewerkers redelijk op de hoogte van het netwerk. Voor nieuwe beleidsthema s vaak niet. Als de kennis onvolledig is of zelfs geheel ontbreekt, kan onderzoek worden gebruikt om het netwerk in kaart te brengen. Verschillende ministeries voeren netwerks uit. Dit gebeurt veelal door beleidsmedewerkers en communicatieadviseurs samen. Belangrijke actoren voor een bepaald beleidsthema worden benoemd. Vervolgens wordt bekeken welke mening en argumentatie de actoren aanhangen en in welk krachtenveld ze samenwerken. Het gaat hierbij om partijen die bekend zijn bij het ministerie en/of een formele rol hebben voor een beleidsonderwerp. Echter ook groepen zonder een formele rol kunnen belangrijke spelers zijn. Naast de kennis die op het ministerie al bekend is over het netwerk kan door het ren van het internet (websites of discussiefora) of andere media (kranten, radio/tv) een compleet beeld gekregen worden van het netwerk. 4 e ontwikkeling: medialogica De invloed van de media is de afgelopen jaren groter geworden. In rapporten van de RMO (4) en de Rob (5 ) wordt gesproken over een medialogica. Beide organisaties stellen dat de media steeds meer het publieke debat bepalen. De medialogica heeft tot gevolg dat het voor ministers en voor ministeries steeds belangrijker wordt hoe men in de media komt. Woordvoerders op ministeries doen er alles aan om met het ministerie of de minister goed in het nieuws te komen. Zij willen ook steeds meer weten of het lukt om aandacht voor hun beleidsonderwerp te krijgen in kranten, op tv, in tijdschriften of op internet. Of de boodschap die het ministerie over wil brengen ook over komt en welke reacties de berichtgeving heeft opgeroepen. Het gevolg is dat er in de afgelopen jaren een sterke opkomst van het mediaonderzoek plaats heeft gevonden. Met mediaonderzoek wordt hier bedoeld, onderzoek naar wat er in de media verschijnt; zowel online als offline media. Dit onderzoek kan verschillende vormen aannemen: van tellen (aantal artikelen, hits), inventarisatie van actoren (wie zegt iets over het onderwerp), inhoudelijke van wat er gezegd wordt, tot welke argumenten gebruikt worden. De kan zich richten op een bepaald beleidsthema, op het ministerie of op de minister. 5 e ontwikkeling: opkomst internetonderzoek In 2012 beschikt 94% van de Nederlandse huishoudens over een internetaansluiting (6). De komst van internet heeft er onder andere toe geleid dat sneller en goedkoper onderzoek kan worden gedaan. Vroeger gebeurde onderzoek uitsluitend telefonisch, schriftelijk of mondeling. Nu, met internet, kan aan veel mensen tegelijk een vragenlijst toegezonden worden en kan het onderzoeksbureau in een relatief korte tijd resultaten opleveren. Internet maakt het mogelijk om op een andere manier onderzoek te doen. Zo worden er bijvoorbeeld researchcommunities ingericht. Bij een researchcommunity wordt een beperkte groep mensen (25 tot 300 personen) voor een beperkte periode in een besloten internetomgeving samengebracht. Binnen deze community kunnen de deelnemers verschillende activiteiten uitvoeren, zoals discussieren op een forum, meewerken aan creatieve opdrachten of polls en korte vragenlijsten invullen. Onderzoekscirkels In de onderstaande figuur zijn de belangrijkste typen onderzoek aangegeven die momenteel plaats vinden bij de directies Communicatie van de ministeries en uitvoeringsorganisaties. Elke cirkel staat voor een bepaald type communicatieonderzoek, dat wil zeggen onderzoek gericht op een bepaald doel. De binnenste twee cirkels waren de belangrijkste typen communicatieonderzoek tot het begin van deze eeuw: het doel was evalueren en testen. De buitenste cirkels zijn er mede gekomen door de onverwachte opkomst van de LPF: onderzoek om te bepalen (van een strategie) en te verkennen. Naast de vier cirkels is in de figuur ook een onderscheid gemaakt naar de verschillende actoren waarop het onderzoek betrekking kan hebben: politiek, media, publiek en het netwerk (stakeholders). Communicatieonderzoek: van evalueren naar verkennen - Pagina 3

4 Figuur 1. Overzicht van soorten onderzoek uitgevoerd bij directies Communicatie van ministeries. Publiek m Monitor departement op beleidsprioriteiten Onderzoek van adviesorganen bv. SCP (COB), WRR, CBS Flitspeilingen Onderzoek van omroepen, onderzoek- en adviesbureaus Netwerk Informatiezoekgedrag Framingonderzoek Argumenten Focusgroepen Storypicking (Concept) testen van specifieke middelen, zoals de kernboodschap Inventariseren van stakeholders en belangengroepen TV of radio spot, websit, etc. Informatie zoekgedrag Verkennen Bepalen Testen Evalueren Campagne-, effectonderzoek, mediabereik Actoren inventarisatie (stakeholders, politiek) Argumenten Media Trend Inventariseren Argumenten van prioriteiten en standpunten Media Politiek Bron: Quatro-J Beleidscommunicatie, Wanneer we de huidige situatie vergelijken met de situatie in de jaren negentig van de vorige eeuw, dan wordt er veel meer communicatieonderzoek uitgevoerd. Het verkennend onderzoek naar draagvlak voor beleid neemt toe. Daarnaast neemt onderzoek om strategische communicatiekeuzes te bepalen, toe. Dit betreft bijvoorbeeld focusgroeponderzoek om denkkaders en frames in kaart te brengen.... blijft het testen van communicatiemiddelen en evaluatieonderzoek belangrijk.... vindt communicatieonderzoek vaker vooraan in het beleidsproces plaats. Dit onderzoek is verkennend van aard en richt zich op hoe een beleidsonderwerp wordt beleefd.... richt communicatieonderzoek zich op meerdere doelgroepen. Naast onderzoek onder het publiek wordt het netwerk dat zich met een bepaald beleidsonderwerp bezig houdt steeds beter in kaart gebracht en vindt veel onderzoek plaats naar wat er in de media verschijnt.... wordt vooral op media-s veel capaciteit ingezet. Ministeries monitoren vaak zelf wat er in de media gebeurt. De knipselkrant is vervangen door dagelijkse mediasignaleringen.... wint onderzoek door internet aan snelheid. Ministeries sluiten contracten af met onderzoeksbureaus om snelle metingen (zogenaamde flitspeilingen) uit te voeren.... wordt naast enquêteren, observeren belangrijker. Onderzoeksvormen zoals framingonderzoek of storypicking ren hoe mensen met elkaar praten over een bepaald onderwerp of bestuderen welke verhalen mensen elkaar vertellen. Ook eyetracking en emotieherkenning winnen aan populariteit.... gaan communicatieadviseurs op ministeries nu anders met onderzoeksresultaten om. Resultaten van communicatieonderzoek worden meer in samenhang bekeken. Dat betekent dat communicatieafdelingen resultaten van een burgerpeiling, een media- en bijvoorbeeld een netwerk samen beschrijven en duiden. Ze betrekken hierbij ook onderzoek dat uitgevoerd wordt door andere partijen. Ze noemen dit vaak een omgevingsbeeld, en spreken over omgevingskennis. Communicatieonderzoek: van evalueren naar verkennen - Pagina 4

5 Er doen zich dus drie bewegingen voor in het onderzoek. Allereerst is er een uitbreiding van de doelen waarvoor onderzoek wordt ingezet: naast evalueren en testen van middelen ook het bepalen van de strategie en verkennen van meningen. Ten tweede is er een uitbreiding van de doelgroepen van het onderzoek: van onderzoek onder vooral burgers naar ook onderzoek naar het netwerk, de politiek en naar de media. De derde beweging is er een van het in samenhang duiden van onderzoeksgegevens. Waar gaat communicatieonderzoek heen? De verbreding van het communicatieonderzoek past bij deze tijd. In de jaren negentig van de vorige eeuw was de situatie nog zo dat de overheid het beleid bedacht en communicatieonderzoek vooral inzette om te testen of de boodschap begrepen werd en of de boodschap ook daadwerkelijk was aangekomen bij de doelgroep. Tegenwoordig is de invloed van de overheid op zijn retour en vindt het leven veel meer plaats in een netwerksamenleving. De overheid moet bij het maken van nieuw beleid op zoek naar aansluiting in de maatschappij. Een breed beeld van wat er speelt in die maatschappij is hiervoor noodzakelijk. De vraag naar omgevingskennis zal bij de overheid naar verwachting dan ook alleen maar toenemen. Omgevingskennis is nodig voor de overheid om de juiste rol en positie te bepalen en om deze rol vervolgens optimaal vorm te geven. De veranderende rol van de overheid wakkert de discussie weer aan over de doelmatigheid van overheidscommunicatie. De accountability discussie van begin jaren negentig van de vorige eeuw is weer terug. Op zich is dit toe te juichen omdat accountability belangrijk is voor de kwaliteit en de professionaliteit van het communicatievak. Het risico is wel dat door deze discussie de aandacht voor communicatieonderzoek weer meer komt te liggen bij het evalueren. Met andere woorden, een beweging terug naar het midden van figuur 1. De vijfde onderzoekscirkel: participeren Een dergelijk ontwikkeling zou ik betreuren. Immers de samenleving maakt het afgelopen decennium een wezenlijke verandering door. De overheid geeft samen met burgers en maatschappelijke organisaties vorm aan deze nieuwe samenleving. Mijns inziens moet het communicatieonderzoek juist een stap voorwaarts maken en moet het onderzoek zich verleggen van verkennen naar participeren. Pas als de overheid echt ziet en voelt waar in de samenleving behoefte aan is, kan ze haar rol daarin goed vervullen. Het is dan ook mijn overtuiging dat over niet al te lange tijd de directies Communicatie van de ministeries ook participerend onderzoek zullen doen. Dit artikel kwam mede tot stand naar aanleiding van opdrachten uitgevoerd bij directies Communicatie bij ministeries en door het leveren van een bijdrage aan de Vaktraining Communicatieonderzoek van de Academie voor Overheidscommunicatie. (1) Algemene Rekenkamer, Voorlichtingscampagnes van het Rijk. SDU, (2) Commissie Toekomst overheidscommunicatie: In dienst van de democratie. SDU, (3) Commissie-Wolffensperger, 50 aanbevelingen voor communicatie met en door een Andere Overheid (4) Medialogica. Over het krachtenveld tussen burgers, media en politiek (2003), Raad voor Maatschappelijke Ontwikkeling. (5) Politiek en media. Pleidooi voor een LAT-relatie. (2003), Raad voor het Openbaar Bestuur. (6) Jolanda Joossen: van 1991 tot 1997 werkte zij bij DPC. Ik heb de verandering die het rapport van de Algemene Rekenkamer met zich meebracht van dichtbij meegemaakt. Communicatieonderzoek staat vanaf die tijd hoog op de agenda bij de directies Communicatie van de ministeries. Dat het onderzoek zich verder ontwikkelt is logisch. Het communicatievak maakt grote veranderingen door. Het onderzoek sluit daarbij aan. Vanaf 2001 werkt zij als zelfstandig adviseur onder de naam Quatro-J Beleidscommunicatie. Zij adviseert overheden en non-profitorganisaties over communicatie en onderzoek. Jolanda is lid van de Communicatiepool Rijksoverheid. Reacties op dit artikel zijn welkom op Communicatieonderzoek: van evalueren naar verkennen - Pagina 5