Brandveilig Leven in de praktijk

Transcriptie

1 Brandveilig Leven in de praktijk Brandveilig Leven in de praktijk Hoe meet ik resultaat? Hoe meet ik resultaat?

2

3 Inhoud 1 Inleiding 4 2 Meten is weten? 5 3 Nulmeting 7 4 Kwantitatief of kwalitatief 8 5 De vragenlijst 10 6 Observatie 13 7 De respondenten 14 8 De 1-meting 16 9 Analyse en rapportage 17 Bijlage 1: Literatuuroverzicht 19

4 1 Inleiding Onder de noemer Brandveilig Leven worden de laatste jaren talrijke initiatieven ontplooid die erop gericht zijn mensen bewust te maken van het belang van brandveiligheid en hen te wijzen op wat zij zelf kunnen doen om die brandveiligheid te vergroten. Om brandweerkorpsen te ondersteunen met het opzetten van projecten op dit gebied heeft Brandweer Nederland in 2012 (toen nog NVBR geheten) in samenwerking met de Nederlandse Brandwondenstichting een handreiking gepubliceerd met de titel Brandveilig leven in de praktijk. Hoe zet ik een project op? In deze publicatie komt ook het meetbaar maken van projectresultaten aan de orde. Zo wordt er kort stilgestaan bij het belang van concreet omschreven doelstellingen en beoogde resultaten, het doen van een nulmeting en het hebben van een controlegroep. Het meten van projectresultaten is echter een onderwerp dat nadere uitwerking behoeft. Dit gebeurt in de voor u liggende publicatie Brandveilig leven. Hoe meet ik resultaat? Hierin worden tips en valkuilen bij het doen van evaluatieonderzoek benoemd. Er wordt ingegaan op: het verschil tussen kwantitatief en kwalitatief onderzoek en bijbehorende onderzoeksmethodieken; aandachtspunten bij het opstellen van een vragenlijst; werving van respondenten (inclusief problematiek van nonrespons); het doen van observaties; de wijze waarop kwalitatieve en kwantitatieve gegevens verwerkt kunnen worden. 4

5 2 Meten is weten? De basis van een Brandveilig Leven-project is de wens om bepaalde resultaten op het gebied van brandveiligheid te bereiken. Deze resultaten kunnen heel breed en abstract zijn ( het brandveiligheidsbewustzijn verbeteren ) of juist heel specifiek en concreet ( het percentage werkende rookmelders in woningen in wijk X verhogen ). Bij het formuleren van de gewenste resultaten (doelstellingen) moet met het volgende rekening gehouden worden: de gewenste resultaten worden gedefinieerd voordat een een project uitgevoerd wordt; de gewenste resultaten dienen zo meetbaar mogelijk te omschreven te worden; de omschrijving moet precies, helder en slechts op één manier uit te leggen zijn. Na afloop van een project wil je meestal weten in hoeverre de resultaten daadwerkelijk bereikt zijn. Dit kan zijn omdat je verantwoording af moet leggen over de wijze waarop het toegekende budget besteed is en of dit budget wel op effectieve en efficiënte wijze besteed is. Maar dit kan ook zijn omdat je zelf wilt weten of het project aan de verwachtingen voldaan heeft, zodat je weet of het voor herhaling vatbaar is (of dat je de volgende keer bepaalde dingen anders moet doen). Om hier achter te komen, moet je onderzoek doen. Dat wil zeggen: het verzamelen en verwerken van gegevens op een zodanige wijze dat een betrouwbaar antwoord gegeven kan worden op je onderzoeksvraag. Onderzoeken is geen vrijblijvende bezigheid. Het is gebaseerd op allerlei regels die ervoor moeten zorgen dat het onderzoek plaatsvindt op een objectieve, systematische en controleerbare (verifieerbare en herhaalbare) wijze. De regels voor het opzetten en uitvoeren van een onderzoek wordt de onderzoeksmethodologie genoemd. Tot de belangrijkste methodologische principes horen betrouwbaarheid en validiteit. Als een onderzoek betrouwbaar is, betekent dit dat de resultaten niet afhankelijk zijn van toevallige (storende) factoren. Wanneer je je onderzoek onder dezelfde omstandigheden zou laten herhalen, zou je dus dezelfde resultaten moeten krijgen. In een laboratorium kun je de betrouwbaarheid meestal waarborgen door te zorgen voor gekalibreerde apparatuur en constante, gecontroleerde omstandigheden. In sociaalwetenschappelijk onderzoek dient vermeden te worden dat de onderzoeker zelf een toevallige/ storende factor is. Dit zou kunnen doordat de onderzoeker zijn eigen voorkeuren en aannames laat meewegen in de selectie van data of respondenten (wie spreek je wel of niet aan op straat?) of doordat hij of zij suggestieve vragen stelt (bijvoorbeeld: vindt u ook niet dat? ). Wanneer we het hebben over de vraag of een onderzoek valide is, hebben we het over de vraag of de resultaten geldig zijn. Met andere woorden: meet je wel wat je wilt meten? Wanneer je bijvoorbeeld wilt weten of het brandveiligheidsbewustzijn in een bepaalde wijk is toegenomen, maar je meet alleen het aantal aangeschafte rookmelders, is je onderzoek niet valide. Immers: het aantal aangeschafte rookmelders is niet de allesbepalende factor waar de toename van het brandveiligheidsbewustzijn uit blijkt. Je onderzoeksresultaat is dan bijvoorbeeld dat er 10% meer rookmelders zijn aangeschaft, maar dit getal zegt niet noodzakelijkerwijs iets over de toename van het brandveiligheidsbewustzijn. Met andere woorden: je onderzoeksresultaten zijn niet valide voor je onderzoeksvraag. In de volgende hoofdstukken wordt nader ingegaan op kwesties die te maken hebben met validiteit en betrouwbaarheid. 5

6 Een populaire uitdrukking over het doen van onderzoek luidt: Meten is weten. Maar als je niet weet wat je meet, weet je nog niets (je onderzoek is niet valide). En als je wel weet wat je meet, maar je meetmethode is niet goed, leidt dat tot de onterechte veronderstelling dat je iets weet (hetgeen kan leiden tot onterechte conclusies; je onderzoek is niet betrouwbaar). Pas als je weet wat je wilt weten en hoe je dat kunt meten, kan meten ook weten worden. Met andere woorden: dan kan meten leiden tot waardevolle informatie en inzichten. 6

7 3 Nulmeting Het is een open deur, maar wel een die in praktijk soms vergeten wordt: om te weten of iets veranderd is, zul je eerst moeten weten hoe de situatie was voordat je je acties begon. Je wilt immers weten of er verschil zit tussen de situatie zoals die oorspronkelijk was en de situatie nadat de campagne geweest is. Als je bijvoorbeeld wilt weten of er na je campagnes meer werkende rookmelders in woningen in wijk X hangen, moet je eerst weten hoeveel werkende rookmelders er hingen voordat je de campagne startte. Start Fase 0 Als je geluk hebt, dan beschik je al over deze gegevens. Bijvoorbeeld omdat hier al een keer onderzoek naar gedaan is. Zo niet, dan zul je zelf eerst de uitgangssituatie moeten bepalen. Dit noemen we de nulmeting. Loopt de campagne al? Bepaal onderzoeksmethode Het kan vóórkomen dat je (om wat voor reden dan ook) geen nulmeting hebt uitgevoerd voordat jouw project startte en dat er ook geen gegevens beschikbaar zijn op basis waarvan je de uitgangssituatie kan bepalen. In dat geval zou je kunnen kijken of je de uitgangssituatie achteraf kunt reconstrueren. Om bij het voorbeeld van de rookmelderscampagne te blijven: je zou mensen kunnen vragen hoe lang ze de rookmelder al hebben hangen. Maar het achteraf inventariseren van de startsituatie is altijd een stuk onbetrouwbaarder dan het uitvoeren van een echte nulmeting. Dit geldt nog sterker voor zaken die gaan over meer subjectieve onderwerpen als meningen, visies, overwegingen enzovoort. Uit psychologische literatuur blijkt de grote onbetrouwbaarheid van het menselijk geheugen bij het reconstrueren van dit soort zaken. Is de uitgangssituatie te reconstrueren? Bepaal onderzoeksmethode Effectmeting niet mogelijk Als het niet mogelijk is om de uitgangssituatie vast te stellen, is het niet mogelijk een effectmeting te doen. 7

8 4 Kwantitatief of kwalitatief De meest basale indeling in soorten onderzoek is die tussen kwantitatief en kwalitatief onderzoek. Het is belangrijk om deze soorten onderzoek goed uit elkaar te houden omdat ze anders van karakter zijn en andere spelregels (en uitkomsten) kennen. Kwantitatief onderzoek doe je als je op zoek bent naar aantallen, verhoudingen, gemiddelden, modaliteiten, percentages enzovoort. Resultaten van kwantitatief onderzoek worden meestal uitgedrukt in getallen, maar dat hoeft niet. Ook uitspraken als gemiddeld komt dit het meeste voor, de meeste mensen vinden dit of het grootste deel bestaat uit zijn in wezen kwantitatieve uitspraken. Regels rond het doen van kwantitatief onderzoek gaan bijvoorbeeld over hoe je je steekproef bepaalt, hoe groot die moet zijn en hoe je de resultaten analyseert en rapporteert. Dit is het domein van de statistiek. Over het doen van kwantitatief onderzoek is veel literatuur beschikbaar. Een veel gebruikt onderzoeksmiddel bij kwantitatief onderzoek is de (meerkeuze)vragenlijst. Maar ook kan er gebruik gemaakt worden van observatielijsten. Dit zijn een soort checklisten die door de onderzoekers zelf worden ingevuld op basis van waarnemingen die zij zelf gedaan hebben. Bij een kwalitatief onderzoek gelden andere regels. Dit type onderzoek heeft een meer inventariserend karakter. Hierbij ben je vooral op zoek naar diversiteit. Je pakt je onderzoek zo aan dat je zoveel mogelijk verschillende meningen of mogelijkheden inventariseert, zonder dat je daar een kwantitatieve uitspraak over doet. Kwalitatief onderzoek kan gedaan worden als voorbereiding op een kwantitatief onderzoek, maar kan ook op zichzelf bestaan. Een veel gemaakte fout in het doen van onderzoek is dat er kwantitatieve conclusies getrokken worden op basis van een nietkwantitatief onderzoek. Het opzetten van een goed kwantitatief onderzoek kost tijd, en dus geld. Wanneer dit ontbreekt, worden onderzoekers soms in de verleiding gebracht (al dan niet onder druk van hun opdrachtgever) om op basis van een onderzoek dat niet voldoet aan de regels van kwantitatief onderzoek toch kwantitatieve uitspraken te doen. Wanneer het gaat om het meten van resultaten van een Brandveilig Leven-campagne, ligt het voor de hand om hiervoor een kwantitatieve onderzoeksmethodiek te kiezen. Immers: je bent op zoek naar cijfers om daarmee het effect van de campagne inzichtelijk te maken. In de hiernavolgende hoofdstukken gaan we daarom uit van een kwantitatief onderzoek. Het is niet altijd eenvoudig om complexe of abstracte zaken te vertalen in meetbare variabelen die je cijfermatig kunt uitdrukken. Brandveilig leven-campagnes richten zich vaak op zaken als gedrag of houding. Je zult daarom goed na moeten denken over bepaalde meetbare aspecten van dit gedrag of die houding. Er zijn allerlei manieren om gedrag en houding te vertalen naar meetresultaten die cijfermatig te analyseren zijn. Deze meetresultaten komen tot stand via vragenlijsten of observaties. Daarover gaan de volgende twee hoofdstukken. 8

9 Bepaal onderzoeksmethode Probleemverkenning? Kwalitatief onderzoek (ook) Hoeveelheden of verhoudingen? Geen onderzoek Kwalitatief en kwantitatief onderzoek 9

10 5 De vragenlijst Een vragenlijst (ook wel survey of enquête genoemd), kan een doeltreffend en efficiënt middel zijn om resultaten te meten. Maar zoals aan elk onderzoeksmiddel, zitten ook hier haken en ogen aan. In dit hoofdstuk wordt hierop ingegaan. Ten eerste dien je ervoor te zorgen dat de vragenlijst aansluit bij het doel van je onderzoek. Bedenk wat je moet weten om de onderzoeksvraag te beantwoorden en stem je vragenlijst daarop af. Probeer niet in de verleiding te komen om de vragenlijst uit te breiden met allerlei vragen die je ook nog wel interessant lijken (nice to know), zonder dat je aan kunt geven in hoeverre die bijdragen aan het beantwoorden van je onderzoeksvraag. Dit is zowel om te voorkomen dat je onderzoek te breed gaat worden (en je dus budget en tijd gaat overschrijden) als om te voorkomen dat de vragenlijst te omvangrijk wordt, waardoor respondenten misschien af gaan haken. Bovendien dwingt deze beperking je om goed na te denken over wat je nu werkelijk moet meten (need to know) om je onderzoeksvraag te kunnen beantwoorden. Ten tweede moet je je verplaatsen in je doelgroep. Wat voor mensen zijn het? Zijn ze in staat om de vragen te begrijpen en wat moet je doen om ervoor te zorgen dat ze eerlijk antwoord zullen geven? In hoeverre is het waarborgen van anonimiteit belangrijk? Kun je ze überhaupt bereiken en hoe kun je ze motiveren om mee te werken aan het onderzoek? In het volgende hoofdstuk wordt hier nader op in gegaan. Ten derde moet je aandacht hebben voor hoe je de vraag formuleert. Suggestieve vragen zijn uit den boze. Uit de manier waarop je de vraag stelt mag niet blijken dat je uitgaat van een bepaald antwoord. Ook moet een vraag maar op één manier te begrijpen zijn. Als mensen de vraag op meerdere wijzen kunnen interpreteren, is de vraag niet bruikbaar voor je onderzoek. Wanneer er meer vragen in één vraag verstopt zitten, is het beter om deze vraag op te knippen in aparte vragen. Laat je vragen vooraf hierop beoordelen door een collega of door een testpanel. Ten vierde dien je bij een kwantitatief onderzoek vooraf de antwoordmogelijkheden te bepalen (meerkeuzevragen). Je bent immers niet op zoek naar diversiteit van antwoorden (kwalitatief), maar je wilt weten hoe vaak een bepaald antwoord voorkomt (kwantitatief). Om te weten welke soorten antwoorden er zoal gegeven kunnen worden, kan het goed zijn om eerst een verkennend, kwalitatief onderzoek te doen. Zorg ook voor een optie anders of weet niet of niet aan de orde. Het kan immers voorkomen dat een respondent een ander antwoord wil geven dan de antwoordmogelijkheden die je hem of haar biedt. De wijze waarop je de antwoordmogelijkheden formuleert, moet voldoen aan dezelfde voorwaarden als waarop je je vraag formuleert (eenduidig, niet suggestief, niet op verschillende manieren te interpreteren). Laat ook je antwoordmogelijkheden beoordelen door een collega of een testpanel. Een bijzondere vorm van meerkeuzevragen zijn de vragen waarbij respondenten kunnen aangeven in hoeverre zij het eens zijn met een bepaalde stelling, of in hoeverre een bepaalde situatie op hen van toepassing is. Hiervoor worden meestal de zogenaamde Likert-schalen gebruikt met (meestal) vijf antwoordmogelijkheden in oplopende volgorde (bijvoorbeeld variërend van helemaal niet mee eens tot helemaal mee eens of van nooit tot altijd ). Ook 10

11 bij dit soort meerkeuzevragen is het belangrijk dat vragen en antwoordmogelijkheden niet suggestief en eenduidig geformuleerd worden. Let daarbij ook goed op de volgorde van je antwoorden. Het is voor respondenten beter te begrijpen als de antwoorden bij een Likert-schaal altijd op dezelfde wijze verlopen, bijvoorbeeld altijd van een lage score naar een hoge score. Er is dan minder kans op fouten bij het invullen van de vragenlijst. Ten vijfde is het goed om vooraf te bedenken wat je doet met niet volledig ingevulde vragenlijsten. m je die wel mee in je analyse, of sluit je die bij voorbaat uit? Als je het noodzakelijk vindt dat respondenten de volledige vragenlijst invullen, vermeld dit dan. Ook wordt het vaak gewaardeerd als je aangeeft hoeveel tijd het invullen van de vragenlijst ongeveer zal kosten, zodat mensen weten waar ze aan toe zijn. Bij online vragenlijsten wordt vaak aangegeven hoeveel vragen mensen nog in moeten vullen. Uitvoering Een vragenlijst kan op verschillende manieren ingevuld worden. Je kunt mensen bellen en telefonisch de vragenlijst met ze doornemen. Je kunt dit ook face-to-face doen. Ook kun je mensen vragen de vragenlijst zelf in te vullen op papier of online. Elke mogelijkheid heeft voor- en nadelen. Online enquêtes hebben het voordeel dat je makkelijk en goedkoop veel mensen kunt bereiken en je de resultaten direct digitaal binnenkrijgt. Maar niet iedereen is even handig met de computer. Sommige mensen hebben andere redenen om geen online enquête in te vullen. Het gevaar hiervan is dat je door voor een bepaalde mogelijkheid te kiezen, een bepaalde groep mensen uitsluit (zelfselectie) en je dus geen representatieve steekproef hebt. Welke mogelijkheid (of combinatie van mogelijkheden) het meest geschikt is, is afhankelijk van je doelgroep of informanten (respondenten). Hierover gaat het volgende hoofdstuk. 11

12 Vragenlijst Bedenk een vraag Is de vraag nodig voor het beantwoorden van de hoofdvraag? Verwijder vraag Is de vraag specifiek, concreet, objectief en begrijpelijk? Maak de vraag specifiek, concreet, objectief en begrijpelijk Kan de hoofdvraag hiermee volledig beantwoord worden? Zet de vraag op de lijst Bepaal antwoordmogelijkheden Pas antwoordmogelijkheden aan Maak vragenlijst definitief Zijn antwoordmogelijkheden begrijpelijk, eenduidig en niet-suggestief? 12

13 6 Observatie Naast het laten invullen van vragenlijsten, is het ook mogelijk om op andere manieren aan onderzoeksgegevens te komen. Dit kan bijvoorbeeld door middel van observatie. Observatie wordt vaak toegepast bij het bestuderen van gedrag. Het gaat dan meestal om kwalitatieve studies, waarbij geprobeerd wordt een zo goed mogelijk beeld van het vertoonde gedrag of de geobserveerde situatie te schetsen. Observatie kan echter ook op een meer kwantitatieve wijze gebruikt worden bij het verzamelen van gegevens in het vrije veld. Door gegevens te verzamelen via observatie ben je niet afhankelijk van de informatie die respondenten jou verstrekken. Dit betekent dat informatie verkregen door observatie betrouwbaarder is dan informatie die uit bijvoorbeeld interviews of vragenlijsten wordt verkregen. Zo is het betrouwbaarder als de onderzoeker in elke woning zelf heeft vastgesteld of er een werkende rookmelder hangt, dan wanneer hij deze informatie verkrijgt uit datgene wat deze bewoners hebben ingevuld in een vragenlijst. Mensen kunnen in een vragenlijst immers sociaal wenselijke antwoorden geven, die niet in overeenstemming zijn met de werkelijkheid. Ook kan het zijn dat zij niet goed in staat zijn om de vragen in de vragenlijst te beantwoorden doordat zij over het onderwerp onvoldoende kennis hebben (wat is een goed werkende rookmelder?). Hierdoor kan de via vragenlijsten of interviews verkregen informatie een vertekend beeld geven van de werkelijke situatie. Het nadeel van observatie is dat het nogal arbeidsintensief is. Daarom wordt er in onderzoek minder vaak gebruik gemaakt van observatie dan van de data- verzamelingsmethode. Als je van plan bent observatie te gebruiken als kwantitatieve methode om gegevens te verzamelen, dan is het van belang dit op een zo gestructureerd mogelijke manier te doen, bijvoorbeeld door het gebruik van een checklist of scorelijst. Net als bij het ontwerpen van een vragenlijst is het van belang dat deze checklist de onderwerpen bevat die relevant zijn voor het beantwoorden van je onderzoeksvraag. Bovendien moet van tevoren duidelijk zijn hoe de geobserveerde situaties gescoord worden (wanneer spreek je bijvoorbeeld van een goed werkende rookmelder?). Het is daarom belangrijk dat er een goede toelichting geschreven wordt bij de scorelijst. Het onderzoek wordt daarmee betrouwbaarder. Dat wil zeggen: als hetzelfde onderzoek door een andere observator uitgevoerd zou worden, dan zou dit dezelfde scores moeten opleveren. De onderzoeksresultaten zijn dus niet afhankelijk van de observator. (Dit wordt de interobservatorbetrouwbaarheid genoemd.) Een goede scorelijst kan er ook voor zorgen dat de waarnemingen van één observator over de hele meetperiode consistent zijn. Dit wordt inter-observatorbetrouwbaarheid genoemd. Als je langer met observaties bezig bent, kan het gebeuren dat je anders gaat kijken, op andere dingen gaat letten of dat je aandacht verslapt. Een goede scorelijst kan helpen af en toe je eerder verzamelde data nog eens te bekijken om na te gaan of je je waarnemingen nog steeds op dezelfde manier scoort. 1 1 In natuurwetenschappen (natural science) wordt nog een andere methode gebruikt om de betrouwbaarheid vast te stellen: de foutenanalyse. Hiermee wordt op basis van de absolute of relatieve afwijkingen van meetinstrumenten de totale range van afwijking ( fouten ) in het onderzoek bepaald. Bij het soort onderzoek waar we het hier over hebben, kunnen dergelijke afwijkingen niet vastgesteld worden en is een foutenanalyse daarom niet mogelijk. 13

14 7 De respondenten Wanneer je effecten van een campagne wilt meten middels vragenlijsten of interviews, moet je vooraf bedenken wie je moet bevragen om de voor jou relevante gegevens te krijgen. In veel gevallen zullen dit de mensen zijn op wie je je richt in je campagne: je doelgroep. Als het goed is, heb je bij het ontwerp van je campagne deze doelgroep gedefinieerd (zie ook de eerdergenoemde publicatie Hoe zet ik een project op?). Dit kunnen bewoners van een bepaalde wijk zijn, of mensen in een bepaalde leeftijdsfase, of verminderd zelfredzamen (of welk ander onderscheidend criterium maar relevant is voor de betreffende campagne). Maar soms is het beter om je in je onderzoek niet rechtstreeks te richten tot de doelgroep van je campagne, maar tot de mensen die relevante informatie kunnen verstrekken over deze doelgroep. Deze mensen noemen we de informanten. Denk hierbij aan mensen die een bepaalde relatie hebben tot de oorspronkelijke doelgroep van je campagne en die de voor jou onderzoek relevante gegevens kunnen leveren (ouders, leraren, verzorgers, wijkagenten etc.). De doelgroep voor je onderzoek (respondenten) hoeft niet dezelfde te zijn als de doelgroep van je campagne. Wanneer je de respondenten of informanten voor je onderzoek hebt vastgesteld, is de volgende stap het bereiken (werven) van deze respondenten. Dit kan op verschillende manieren (al dan niet gecombineerd). Te denken valt aan een mailing (per reguliere post) en het plaatsen van berichten op relevante websites en in huis-aanhuisbladen. Ook kun je in bijvoorbeeld winkelcentra en bibliotheken werven en bedenk dat ook sport- en wijkverenigingen om hulp gevraagd kunnen worden. De beperking van elke manier van werven is dat je altijd slechts een bepaald deel van je populatie te pakken krijgt en een ander deel uitsluit. Dit noemen we zelfselectie. Als je bijvoorbeeld op een doordeweekse ochtend in een winkelcentrum gaat werven, zul je niet de mensen bereiken die op dat moment op hun werk zitten. Er is een kans dat je hierdoor geen representatief deel van je populatie te pakken hebt. Met andere woorden: als je groep respondenten bijna volledig bestaat uit de leden van een voetbalclub, kun je je afvragen in hoeverre je meetresultaten iets zeggen over alle wijkbewoners (inclusief de mensen die geen lid zijn van die voetbalvereniging). Zelfselectie kan ook het gevolg zijn van taal. Als je respondenten bijvoorbeeld schriftelijk werft in het Nederlands, bereik je bijvoorbeeld geen analfabeten of mensen die de Nederlandse taal onvoldoende machtig zijn. Als deze mensen wel een substantieel deel van je onderzoekspopulatie uitmaken, kan het zinvol zijn om hier je werving op aan te passen. (NB: dit geldt ook voor de taal van je vragenlijsten.) Een probleem dat nauw verwant is met het probleem van zelfselectie is het probleem van non-respons. Welk onderzoek je ook doet, er zullen altijd mensen zijn die er niet aan willen meewerken. De redenen hiervoor kunnen divers zijn. Zo zullen er mensen zijn die principieel niet meedoen aan onderzoeken. Maar er kunnen ook mensen zijn voor wie het onderwerp brandveiligheid te gevoelig ligt omdat ze bijvoorbeeld in het verleden zelf een brand meegemaakt hebben. Of mensen die niet mee willen werken omdat ze negatieve ervaringen hebben met de organisatie die het onderzoek uitvoert (bijvoorbeeld de brandweer). Je zult dan moeten kijken of er een mogelijkheid is om deze mensen toch te bereiken. 14

15 Wanneer je (heel) weinig reactie krijgt op je verzoek tot medewerking aan het onderzoek, zul je je af moeten vragen waar dat aan ligt. Zo kan het zijn dat je werving onvoldoende motiverend is, of dat de vragenlijst te lang is. In sommige gevallen kun je de werving van respondenten ook uitbesteden aan (markt) onderzoeksbureaus. Aparte aandacht vraagt de vereiste omvang van je steekproef. Hoeveel mensen moet je bevragen voordat je uitspraken kunt doen over de hele groep die je onderzoekt? Ook hiervoor gelden statistische uitgangspunten. Deze uitgangspunten zijn onder meer gebaseerd op de omvang van de populatie die je onderzoekt in relatie tot de precisie die je nastreeft (toegestane foutenmarge en betrouwbaarheidsniveau). Op internet zijn tools te vinden waarmee vrij eenvoudig de vereiste omvang van je steekproef te berekenen is. Respondenten Bepaal doelgroep en informanten Bepaal wervingsmethode Bepaal de omvang van je steekproef Kan er sprake zijn van zelfselectie? Kan er sprake zijn van non-respons? Uitvoering onderzoek 15

16 8 De 1-meting Als is vastgesteld hoe de meting plaats zal vinden en de nulmeting is uitgevoerd (zie hoofdstuk 3), is het moment gekomen voor de eerste echte effectmeting. Meestal gebeurt dit nadat de campagne is afgelopen, maar soms ook al tijdens de campagne. Deze eerste effectmeting noemen we de 1-meting. De samenstelling van de steekproef vereist de nodige aandacht. Is deze beduidend anders dan je steekproef bij je 0-meting? En hoe representatief is die? Je zult je af moeten vragen of er verschillen zitten in je groep respondenten van de 0-meting en je groep respondenten van je 1-meting. Vervolgens moet je kritisch kijken of deze verschillen mogelijk een invloed hebben op de resultaten en waarom mensen die meegedaan hebben aan de 0-meting niet mee hebben gedaan aan de 1-meting. Zijn daar misschien redenen voor die je meetresultaten beïnvloeden? 1-Meting Bepaal tijdstip van meten Wijzigingen in omstandigheden of in groep respondenten? Ten derde is het moment van meten belangrijk. Sommige campagnes zullen direct een blijvend resultaat hebben. Andere campagnes zullen misschien een kortstondig resultaat hebben dat echter na enkele maanden weer volledig is verdampt. Weer andere campagnes hebben op de korte termijn geen direct meetbaar effect, maar hebben dat op de langere termijn misschien wel. In principe is het raadzaam om altijd meerdere metingen te doen, omdat het aannemelijk is dat het effect van je campagne toe- en afneemt in de loop der tijd. Het doen van meerdere metingen is echter niet altijd haalbaar vanwege praktische en financiële redenen. In dat geval is het verstandig om goed na te denken over op welk moment de 1-meting het beste kan plaatsvinden. Hebben deze mogelijkheden invloed op resultaten? Vermelden in rapportage Rapportage 16

17 9 Analyse en rapportage Wanneer de metingen zijn uitgevoerd, begint de noeste arbeid van de analyse. De meetresultaten worden allereerst bekeken op consistentie. Wellicht zitten er rare uitschieters in je meetresultaten. Kun je die verklaren? Is er wellicht iets mis gegaan bij de meting of bij de digitale verwerking van de meetresultaten? In dat geval kun je overwegen om die meetresultaten niet mee te laten wegen in je analyse. Je moet dit echter wel goed motiveren in je rapportage. Het zomaar weglaten van meetgegevens is uit den boze, zeker als je daarmee probeert mooiere onderzoeksresultaten te krijgen. Laat daarom altijd iemand met verstand van zaken meekijken voor je besluit om bepaalde meetgegevens buiten beschouwing te laten. Het is ook verstandig om voordat je je onderzoek start, aan te geven binnen welke range je antwoorden verwacht. Zodoende is het makkelijker om uitschieters te herkennen en kun je achteraf beter motiveren waarom je bepaalde meetgegevens eruit filtert. 2 Vervolgens vindt de eigenlijke statistische analyse plaats. Je kunt hiervoor het beste je meetgegevens digitaliseren en statistische analysesoftware gebruiken, zoals het programma SPSS. Maar ook met een alledaags spreadsheetprogramma als Excel is het mogelijk om statistische analyses te doen. Je kunt hiermee frequentietabellen maken en berekenen hoe de verdeling van je meetresultaten is (gemiddelden, modus, mediaan en standaarddeviatie). Door de uitkomsten van je nul- en éénmeting goed te analyseren, kun je aangeven: of er verschillen zitten tussen de uitkomst van de nulmeting en de éénmeting; hoe groot die verschillen zijn; of die verschillen er toe doen (statistisch significant zijn). Wanneer je statistisch significante verschillen hebt geconstateerd tussen je 0-meting en je 1-meting moet je er echter voor waken dit meteen aan je interventie (je Brandveilig Leven-campagne) toe te schrijven. Uiteraard is het verleidelijk om dit wel te doen, en wellicht dat je hiermee kunt scoren ( Door Brandveilig Leven-campagne meer rookmelders in woningen! ), maar helemaal juist is dat niet. Het verschil kan namelijk ook verklaard worden door andere oorzaken. In het geval van een rookmeldercampagne, zou het bijvoorbeeld kunnen zijn dat tussen de 0- en de 1-meting rookmelders positief in het nieuws zijn gekomen, of dat de plaatselijke doe-het-zelfzaak een stuntaanbieding met rookmelders had. Met andere woorden: je kunt wel aantonen dat er verschillen zijn tussen de uitgangssituatie en de nieuwe situatie, maar je kunt niet altijd met zekerheid zeggen dat dit komt door je interventie. Het feit dat je een relatie ziet tussen twee dingen, wil niet zeggen dat het één volgt uit het ander. Met andere woorden: correlatie (samenhang) hoeft nog geen causaliteit (oorzakelijke samenhang) te zijn. Een ander voorbeeld om het verschil tussen correlatie en causaliteit aan te tonen is de uitspraak wanneer er meer ijsjes verkocht worden, verdrinken er ook meer mensen. Deze uitspraak is op zich waar, aangezien met statistiek aangetoond kan worden dat op (zomerse) dagen dat er veel ijs wordt verkocht ook meer mensen verdrinken (correlatie). Dit betekent echter nog niet dat er meer mensen verdrinken doordat er meer ijsjes verkocht worden (causaliteit). Er kunnen dus andere variabelen in het spel zijn (in dit geval de warmte) die dit verband beter verklaren. Met warm weer eten mensen niet alleen meer ijs, maar zijn er ook meer mensen die gaan zwemmen. Als er meer zwemmers zijn, is de kans ook groter 2 Enkele recente gevallen van wetenschapsfraude die het nieuws hebben gehaald, gingen over het heimelijk weglaten van meetresultaten om zodoende naar een gewenste uitkomst toe te werken. Zie onder meer het rapport Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens (Koninklijke Akademie van Wetenschappen, september 2012). 17

18 dat één van die zwemmers zal komen te verdrinken. Dit komt niet door de toegenomen verkoop van ijs, maar met het (gelijktijdig optredende) warme weer. Voor het aantonen van causaliteit is meer nodig. Zo moet je zeker weten dat andere factoren de resultaten niet hebben kunnen beïnvloeden. Dit kun je controleren door een zogenaamde controlegroep te gebruiken. Dit is een groep mensen die qua samenstelling (leeftijd, geslacht, persoonskenmerken, etc.) precies gelijk is aan de groep die je wilt onderzoeken. Daarnaast moet deze controlegroep aan exact dezelfde omstandigheden (zelfde informatie, zelfde prikkels, zelfde mogelijkheden) worden blootgesteld. Het enige verschil is dat je bij de controlegroep géén interventie pleegt. 3 Deze interventie is je Brandveilig Levenproject. Wanneer je na je interventie bij de onderzoeksgroep een verschil constateert met je controlegroep, dan kun je spreken van causaliteit. Omdat deze voorwaarden in het soort onderzoek 4 waar we het hier over hebben, in de praktijk niet realiseerbaar zullen zijn, is het raadzaam om met enige voorzichtigheid en nuance te rapporteren over de gevonden verbanden. Voordat je het rapport als definitieve versie oplevert, is het belangrijk om nog eens goed te kijken naar de opbouw en het taalgebruik. Het rapport dient begrijpelijk te zijn en het taalgebruik zorgvuldig. De schrijfstijl moet bovendien aansluiten bij de doelgroep. Het is raadzaam om het rapport hierop te laten controleren door iemand die inhoudelijk niet bij het onderzoek betrokken is geweest. Ten slotte kun je nog nadenken over het openbaar maken van het rapport en over de wijze waarop je hierover wilt communiceren (persbericht, website, sociale media, etc.). Wanneer je het rapport in opdracht geschreven hebt, gebeurt dit uiteraard in overleg met de opdrachtgever. 3 De interventie vindt plaats tussen de 0- en de 1-meting. 4 In (natuurwetenschappelijke) laboratoriumexperimenten is dit meestal wel mogelijk, omdat daar de omstandigheden gecontroleerd kunnen worden. 18

19 Bijlage 1 Literatuuroverzicht In de volgende Nederlandstalige en Engelstalige boeken wordt dieper ingegaan op de basisbeginselen van het doen van onderzoek. Ben Baarda, Dit is onderzoek! Richtlijnen voor het opzetten, uitvoeren en evalueren van kwantitatief en kwalitatief onderzoek (Groningen, Houten: Noordhoff, 2009) Ben Baarda, Esther Bakker, Monique van der Hulst, Mark Julsing, Tom Fischer, Rene van Vianen, Martijn de Goede, Basisboek methoden en technieken Vijfde editie (Groningen, Houten: Noordhoff, 2012) Ben Baarda, Martijn de Goede, Matthijs Kalmijn, Basisboek enquêteren (Groningen, Houten: Noordhoff, 2010) Ben Baarda, René van Vianen, Basisboek statistiek met Excel. Handleiding voor het verwerken en analyseren van en rapporteren over (onderzoeks)gegevens (Groningen, Houten: Noordhoff, 2011) D.B. Baarda, M.P.M. de Goede en J. Teunissen, Basisboek kwalitatief onderzoek. Handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek (Groningen en Houten: Noordhoff, 2009) J. Billiet & H. Wage (red.), Een samenleving onderzocht. Methoden van sociaal-wetenschappelijk onderzoek (Antwerpen: De Boeck, 2003) Hennie Boeije, Harm t Hart en Joop Hox (red.), Onderzoeksmethoden (Amsterdam etc.: Boom 2009) Hans Doorewaard, Piet Verschuren, Het ontwerpen van onderzoek (Den Haag: Lemma, 2007) Uwe Flick, Introducing Research Methodology. A Beginners Guide to Doing a Research Project (London: SAGE Publications 2011) Wane Goddard & Stuart Melville, Research Methodology. An Introduction Second edition (Lansdowne: Jutta & Co, 2007) Ranjit Kumar, Research Methodology. A Step by Step Guide for beginners (London, SAGE Publications, 2011) Lisa McIntyre, d to know. Social Science Research Methods (Boston etc.: McGraw-Hill, 2005) Frank Plooij, Onderzoek doen. Een praktische inleiding in onderzoeksvaardigheden (Amsterdam: Pearson, 2008) Mark Saunders, Philip Lewis, Adrian Thornhill, Marije Booij, n Pieter Verckens, Methoden en techinieken van onderzoek. Vijfde editie (Amsterdam, Pearson Education Benelux 2011) Jo Segers, Methoden voor de maatschappijwetenschappen (Assen: Van Gorcum 2002) Nel Verhoeven, Wat is onderzoek? Praktijkboek methoden en technieken voor het hoger onderwijs (Boom Onderwijs, 2007) 19

20 Naar aanleiding van enkele gevallen van wetenschapsfraude in Nederland (onder meer de affaire Stapel, zijn er enkele publicaties die ingaan op de zorgvuldigheid bij het doen van onderzoek. Hierin worden ook dilemma s en valkuilen beschreven. Deze publicaties zijn gratis online beschikbaar. Falende wetenschap: de frauduleuze onderzoekspraktijken van sociaal-psycholoog Diederik Stapel (rapport van de commissie Levelt, de commissie Noort en de commissie Drenth, 28 november 2012) Johan Helibron, Wetenschappelijk onderzoek: dilemma s en verleidingen (Koninklijke Akademie van Wetenschappen, Amsterdam 2005) Zorgvuldig en integer omgaan met wetenschappelijke onderzoeksgegevens (Koninklijke Akademie van Wetenschappen, september 2012) 20

21 Colofon Dit is een uitgave van Brandweer Nederland. Tekst: Nancy Oberijé en Clemont Tonnaer (IFV) Contactpersoon: Marcel van Galen (Projectleider Brandveilig Leven) Redactie: Jeanine van Weert (Bureau Brandweer Nederland) Datum: September 2013 Illustratie: Patrick van Gerner (Bureau Brandweer Nederland) Vormgeving: Carlo Polman (Oud.Zuid Ontwerp)

22