Hoe meten we de effectiviteit en wat gebeurt er met de onderzoeksresultaten?

Transcriptie

1 Rijksoverheidscampagnes: Hoe meten we de effectiviteit en wat gebeurt er met de onderzoeksresultaten?

2

3 Aantal campagnes per jaar zendtijd Rijksoverheid niet-zendtijd Rijksoverheid

4 De betrokkenen Opdrachtgever Dienst Publiek en Communicatie (ministerie van AZ) Uitvoerend onderzoeksbureau -Beleidsmakers -Communicatiemedewerkers -Onderzoekers -Campagnemanagers -Onderzoeksadviseurs -Experts online -Onderzoekers

5 Verschillende type campagnes langlopend vs ad hoc / politiek gedreven gedragsverandering vs voorlichting zendtijd vs niet-zendtijd

6 Het proces beleidsdoelstelling vooronderzoek communicatiedoelstelling strategietoets communicatiestrategie concepttest campagneconcept pretest en usability campagne-uitingen mediatool media-inzet effectonderzoek evaluatie Implicaties?

7 Campagne-effectonderzoek TNS NIPO meet sinds 2011 de effectiviteit van alle (grote) Rijksoverheidscampagnes Belangrijkste doelen onderzoek: 1. Verantwoording 2. Lering

8 Campagne-effectonderzoek: het communicatiemodel Media-inzet Campagne Concept Communicatieve werking Communicatie effecten Achtergronden Doelgroep Overige invloeden: - Overig beleid - Media aandacht - Incidenten

9 Meetmethode: de zilveren standaard

10 De geschiedenis houding veilig vrijen 40% 20% Campagne veilig vrijen voormeting nameting Oorzaak stijging?

11 De zilveren standaard: het full panel design Bijdrage mediumtypen (bereikt versus niet-bereikt) PANEL DESIGN Panelmeting Kennis Houding Gedrag + communicatieve werking TRACKING DESIGN Voormeting Nameting Kennis Houding Gedrag Meten van effecten (voormeting versus nameting) Kennis Houding Gedrag + communicatieve werking Week 1 Week 2 Week 3 Week 4 Week 5 Week 6 Week 7 Week 8 Campagneperiode

12 Voorbeeld campagne-effect trackingdeel panelanalyse Spontane bekendheid NL-Alert als alarmmiddel +6% +19% +20% +16% +16% campagne niet herkend tv herkend radio herkend banner herkend voormeting nameting voormeting panelmeting

13 Naast effecten ook communicatieve werking herkenning waardering totaal bereik informatief tv-spots geloofwaardig pre-roll 18 radiospots 32 banners 24 algemeen publiek benchmark aansprekend grappig ouders jongeren jaar jongeren jaar benchmark waardering per mediumtype + geholpen herinnering + boodschapoverdracht + webstatistieken

14 Implicaties voor beleid 1. Verantwoording 2. Lering

15 1. Verantwoording Tweede Kamer

16 1. Verantwoording Tweede Kamer Achtergrond Rapport van de Rekenkamer (1991) Vanaf 1999 gemeenschappelijke uitvoering door DPC + onderzoeksbureau Jaarevaluatie vloeit voort uit verantwoordelijkheid van de MP voor: - Eenheid in communicatie over kabinetsbeleid - Gemeenschappelijke infrastructuur voor massamediale campagnes (voorheen Postbus 51) Doel bevorderen samenhang, effectiviteit en efficiency van massamediale publiekscommunicatie Verantwoording afleggen over kosten en resultaten Inzicht geven in werking van campagnes voor bijdrage aan verdere professionalisering en doelmatigheid

17 1. Verantwoording Tweede Kamer verdeling mediabudget

18 1. Verantwoording Tweede Kamer

19 2. Lering beleidsdoelstelling vooronderzoek communicatiedoelstelling strategietoets (CASI) communicatiestrategie concepttest campagneconcept pretest en usability campagne-uitingen mediatool media-inzet effectonderzoek evaluatie

20 2. Lering 4 voorbeelden: 1. mediastrategie 2. boodschappen en terminologie 3. doelstellingen 4. concept

21 2. Lering aanscherpen mediastrategie campagne Douane Reizigers totaal bereik buitenreclames radiospot advertentie prerolls (één van) 9 23 banner Facebook 6 tekstadvertenties herinnering reizigers buiten EU benchmark

22 2. Lering boodschappen en terminologie

23 2. Lering boodschappen en terminologie

24 2. Lering boodschappen en terminologie Mensen die de hele dag intensieve zorg en toezicht nodig hebben, krijgen die zorg net als nu Gezinnen met veel problemen krijgen straks één contactpersoon die de hulpverlening regelt U kunt via de zorgverzekeraar achterhalen waar u snel geholpen kunt worden U probeert contact op te nemen met de huisartsenpost, en gaat niet zomaar naar de spoedeisende hulp U kunt via de zorgverzekeraar achterhalen waar u terecht kunt voor een behandeling door een medisch specialist U controleert of uw zorgverzekering nog bij u past of dat u beter kunt overstappen Er zijn veranderingen in de zorgtoeslag benchmark ja, dat is gelukt ja, dat is deels gelukt Met de campagne wil men aan u duidelijk maken dat:

25 2. Lering boodschappen en terminologie aansprekend opvallend Helaas gaat het in de praktijk anders. niet irritant geeft nieuwe info Omdat er een veel te rooskleurig beeld wordt neergezet. geloofwaardig mooi Op zich een mooie campagne maar echt veel weet je dan nog niet. informatief duidelijk Nameting benchmark

26 2. Lering boodschappen en terminologie dat mensen met een laag inkomen bij de Belastingdienst zorgtoeslag kunnen aanvragen dat je het eigen risico gespreid kan betalen dat iedereen vanaf 18 jaar een zorgverzekering moet afsluiten en de premie moet betalen dat u moet controleren of uw zorgpolis bij u past benchmark ja, dat is gelukt ja, dat is deels gelukt

27 2. Lering doelstellingen vm mei'14 n= 643 nm juni'14 n= 473 vm nov.'14 n= 608 nm dec.'14 n= 494 vm apr.'15 n= 593 nm jun.'15 n= 469 vm nov.'15 n= 623 nm dec.'15 n= 452 Waar Niet waar weet niet NL-Alert is een manier om mensen te alarmeren

28 2. Lering concept 2014 idee achter roomie symbool roomie duidelijk informatief mooi aansprekend geeft nieuwe info grappig

29 Conclusies Het zilveren standaard model probeert zo goed mogelijk in kaart te brengen in hoeverre effecten (kennis/houding/gedrag) toe te schrijven zijn aan campagne-inspanningen Effectonderzoek is een evaluatie en dient ter verantwoording De resultaten kunnen daarnaast leiden tot verschillende type aanscherpingen, al komen de belangrijkste inzichten normaliter uit het voortraject