Beantwoording raadsvraag

Transcriptie

1 Beantwoording raadsvraag Onderwerp Validiteit onderzoeksresultaten belevingsonderzoek Datum 30 april 2015 Nummer RV-1519 Steller vraag R. Berkers Fractie VVD Portefeuillehouder N. Lemlijn Steller Datum afdoening 02 juni 2015 De vragen zijn beantwoord door Henk Jans van GGD Brabant-Zuidoost - bureau GMV, onderzoeksleider van het betreffende belevingsonderzoek. Vragen In opdracht van het Urgentieteam Deurne heeft GGD Brabant-Zuidoost een belevingsonderzoek uitgevoerd onder de inwoners van Liessel, binnengebied Deurne en buitengebied Deurne. Het doel van het onderzoek is een goed beeld krijgen van de hinderbeleving van omwonenden van veeteeltbedrijven. 1. Vragen over representativiteit steekproef Vraag 1.1 In totaal is de respons op het onderzoek 24% geweest en zijn er 451 respondenten. Is de steekproef hiermee representatief? Ander gezegd; is de netto steekproef een afspiegeling van de totale populatie? Of een onderzoek representatief is heeft te maken met de vraag of de gekozen steekproef een juiste afspiegeling is van de totale groep, die je wil ondervragen. In principe is dat in dit geval zo behalve dat het opvallend is dat meer mannen (60%) dan vrouwen hebben gereageerd. Mogelijk dat zij vooral de digitale vragenlijst (online enquete) invullen, omdat ze meer vertrouwd zijn met PC. Als je kijkt naar de leeftijdsverdeling en herkomst van de respondenten is ook die nog steeds ook representatief voor de doelgroep; In principe was met de gekozen steekproefgrootte van huishoudens, die aselect gekozen zijn in de verschillende onderzoeksgebieden, ingezet op een respons van 40-50% om met 95% betrouwbaarheid wat te kunnen zeggen; de respons was nu duidelijk minder, waardoor de betrouwbaarheid van de resultaten ook minder wordt, er ontstaat een grotere mate van onzekerheid; de bandbreedte rondom de gevonden waarde wordt daarmee vergroot, zowel naar boven als naar beneden toe; dit geldt voor alle onderzoeksgebieden (rond de 24% respons). 1

2 Vraag 1.2 Mocht de steekproef niet representatief zijn, wat betekent dit voor de onderzoeksresultaten? Zie vorige antwoord; steekproef van huishoudens is aselect gekozen over drie verschillende gebieden. De gekozen steekproef was representatief voor onderzoeksgebied. Bij aanvang van onderzoek hebben we er niet voor gekozen veel ruchtbaarheid aan het onderzoek te geven om te voorkomen dat mensen select gaan reageren. Onderzoekers hebben niet het idee dat dit nu gebeurd is. Omdat de respons wat lager is dan verwacht is de mate van onzekerheid rondom de exacte getalswaarde groter; dat wil niet zeggen dat onderzoeksresultaten direct minder bruikbaar zijn; wat al aangegeven is, is dan de bandbreedte van onbetrouwbaarheid rondom gevonden waarde groter; Vraag 1.3 In totaal heeft 76% al dan niet bewust niet deelgenomen aan het onderzoek. Tast deze non-respons de representativiteit van het onderzoek aan? Zo ja, op welke manier? Zo nee, waarom niet? Zie eerder antwoord over betrouwbaarheid. Vraag 1.4 Wat zijn de beweegredenen van deze grote groep om niet aan het onderzoek mee te willen doen? Daar is geen navraag of nader onderzoek naar gedaan; in het algemeen blijkt ook bij andere onderzoeken, dat bij digitaal uitzetten van vragenlijsten de respons minder is. Vraag 1.5 Waarom wordt er in het onderzoek niet of nauwelijks over deze grote groep gesproken? Normaliter probeer je bij onderzoek na te gaan wat de redenen zijn waarom men niet respondeert; in dit onderzoek was er voor gekozen om op een snelle manier, binnen maximaal 4 weken, middels een korte digitale vragenlijst inzicht te verkrijgen de (hinder)beleving/bezorgdheid die men in verband brengt met veeteelt-gerelateerde activiteiten in de directe woonomgeving en daarover te rapporteren; dit gaat zeker ten koste van de zorgvuldigheid. Er is verder geen onderzoek gedaan naar de non-respons groep. Vraag 1.6 In totaal zijn er 124 respondenten uit het buitengebied van Deurne. Bij vraag 17 in het onderzoek wordt gevraagd of de werkzaamheden van de respondent verband houden met (intensieve) veeteelt. Hier wordt vervolgens in de onderzoeksresultaten niet aan gerefereerd. Zijn de 124 respondenten uit het buitengebied representatief met betrekking tot de verhouding boeren en burgers in het buitengebied? Anders gezegd; vormen deze 124 2

3 respondenten een juiste afspiegeling van de daadwerkelijke verhouding tussen huishoudens die wel of niet in de (intensieve) veeteelt actief zijn? 19% van de respondenten uit het buitengebied is werkzaam in de (intensieve) veeteelt. Dit aandeel lijkt ongeveer gelijk te zijn aan het werkelijke aandeel boeren in dit gebied. In de onderzoeksgroep van Liessel was dit aandeel 4% en in het binnengebied, waar eigenlijk uitsluitend huishoudens wonen, die geen verbinding hebben met directe werkzaamheden in veehouderij, 3%. Vraag 1.7 Zijn er verschillen tussen de antwoorden van de huishoudens uit het buitengebied die wel actief zijn in de (intensieve) veeteelt en niet? Zo ja/nee, wat kan daaruit geconcludeerd worden? Er is geen verschil in hinderbeleving tussen de huishoudens die wel/niet actief zijn in de agrarische sector. Vraag 1.8 Waarom is de beantwoording van vraag 17 verder niet gebruikt in het onderzoek? Het feit dat er geen verschil is gaf geen aanleiding om deze uitsplitsing verder uit te werken. Ik heb het bij de presentatie wel genoemd om de indruk te voorkomen dat alleen die mensen die hinder ervaren gereageerd zouden hebben op de uitnodiging om de vragenlijst in te vullen. Vraag 1.9 In de enquête wordt de vraag gesteld of de respondent in de buurt van een intensieve veehouderij locatie woont. Vervolgens staat er dat in Liessel kern respectievelijk 43% en in Deurne kern 27% in de buurt woont van een (intensieve) veehouderij. Dat is nog steeds opmerkelijk hoog, aangezien er in de onderzochte gebieden slechts enkele (intensieve) veehouderijen liggen. De onderzoeker heeft ook de postcodes van de respondenten en daarmee de woonlocatie. Wat verstaat de onderzoeker als in de buurt? Het gaat hier niet om in de buurt op basis van feitelijke locatie (dus als buurman of op beperkte afstand), maar het gaat hierbij om de ervaren beleving van de respondent van zijn woon- en leefomgeving. Vraag 1.10 Is de steekproef representatief met betrekking tot de verhouding inwoners binnen de kern die wel of niet in de buurt van een (intensieve) veehouderij liggen? Anders gezegd, hebben meer inwoners de enquête ingevuld die toevallig wel dichtbij een (intensieve) veehouderij liggen? In eerste instantie is het moeilijk te bepalen of alleen die mensen die een negatieve ervaring hebben gereageerd hebben op uitnodiging; daarvoor is niet gecorrigeerd. 3

4 Men zou dat bij een lagere respons wel eerder denken, maar we hebben zelf niet dat idee gezien de grootte van de onderzoeksgebieden en het aselect kiezen van de huishoudens. We zien het ook niet uit de beantwoording van de andere vragen, dat daar een bepaalde sociaal wenselijkheid in zit. Het zou bij het aantal mensen dat per gebied heeft gereageerd toeval zijn (in alle gebieden ongeveer zelfde respons), dat van de aselect getrokken huishoudens alleen die gereageerd hebben, die een negatieve beleving ervaren en uit sociaal wenselijkheid de vragen hebben beantwoord. Zo groot zijn de actiegroepen ook niet. Vraag 1.11 Mocht de steekproef niet representatief zijn, is de onderzoeker dan van mening dat er niet meer eenduidig gesproken kan worden als bijvoorbeeld de mening van Liessel? In de rapportage wordt gesproken over de mening van de deelnemers uit Liessel. Door de lagere respons, in dit geval 26%, is niet op voorhand uit te sluiten dat een bepaalde selectie van deelnemers heeft gereageerd, echter die vraag kan men bij elke onderzoek stellen. Kijk naar de volwassenmonitor van de GGD ZOB van 2012, daar hebben slechts voor de hele gemeente 483 mensen gereageerd, waarbij men dan uit de beantwoording van vragen, zoals bijvoorbeeld bij de vraag of men hinder van geur ervaart als gevolg van veehouderij, ook niet het directe oordeel mag geven dat de 4% van respondenten die positief reageren op deze vraag, verdeeld over totale gebied van de gemeente Deurne, ook representatief is voor de belaste gebieden, zoals buitengebied en Liessel. Zie voor verdere beantwoording over representativiteit en betrouwbaarheid eerder beantwoorde vraag. Vraag 1.12 Enkele weken geleden heeft VVD Deurne raadsvragen gesteld over de beveiliging van de enquête. De enquête leek immers vrij toegankelijk via de website van de Gemeente Deurne. In de beantwoording stelt de wethouder dat aan de hand van IP-adressen & postcodes meerdere invullers eruit gefilterd kunnen worden. Heeft het onderzoeken van IP adressen en postcodes uiteindelijk geleid tot uitfiltering van bepaalde respondenten? Zo ja, hoeveel? Nee, het betrof uitsluitend unieke IP-adressen en huisadressen. 4

5 2. Vragen over significantie onderzoeksresultaten Bij het beoordelen van resultaten van statistisch onderzoek is het van groot belang of deze significant zijn. Niet significante resultaten kunnen beschouwd worden als toeval en daarmee onbruikbaar. In het onderzoek staan enorm veel resultaten vernoemd. Sommige resultaten zijn zeer dun en worden neergezet in het onderzoek als belangrijk. Om tijd en geld te besparen in de beantwoording van deze raadsvragen, zullen we ons bij de volgende drie vragen alleen richten op de conclusies van het onderzoek (pagina 14, 15, 16): Vraag 2.1 Is er in het onderzoek getoetst op de significantie van de onderzoeksresultaten? Nee er is geen statistische analyse uitgevoerd, dus ook geen toetsing op significantie; het is vooral een beschrijvend onderzoek geweest. Vraag 2.2 Welke resultaten zijn significant en welke niet? Graag een afsplitsing. Zie vorige antwoord Vraag 2.3 Is de onderzoeker van mening dat statistisch gezien significante resultaten kunnen worden beschouwd als onbruikbaar binnen de onderzoeksresultaten? De relevantie van statistisch onderzoek/ significante resultaten hangt af van de grootte en daarmee de power van het onderzoek. Dit type onderzoek is niet geschikt voor statistische analyses. Dit betekent echter niet dat de onderzoeksresultaten onbruikbaar zijn en geen enkele waarde hebben. 5

6 3. Vragen over interpretatie woordgebruik In het onderzoek wordt ook geconcludeerd over de bezorgdheid van o.a. de intensieve veehouderij, maar ook van bijvoorbeeld drukke wegen. Door het actief vragen naar bezorgdheid, is er een kans dat resultaten soms andere uit pakken dat wenselijk. Welke ouder is immers niet bezorgd, dat er iets met hun kinderen overkomt door bijvoorbeeld een drukke weg? Of door de mogelijke straling van een zendmast? Iedereen dus als je het actief vraagt en mensen er over laat nadenken. Vraag 3.1 Op welke manier moeten we de bezorgdheid bij bepaalde onderzoeksresultaten interpreteren? Bij de interpretatie moet rekening worden gehouden met de grootte van de groep die de vraag heeft ingevuld. Wanneer een situatie van toepassing is voor slechts een zeer kleine groep zijn de groepseenheden uiteraard anders dan bij een grote groep. De doelgroep waar we het in dit onderzoek over hebben is gezien locatie en omvang daarvan, zeker niet als klein te beschouwen en ook niet als niet representatief. Vraag 3.2 Hoe is in het onderzoek en in de vraagstelling gewaarborgd dat onbewuste bezorgdheid niet bewuste bezorgdheid is geworden? Het is niet mogelijk om dit te waarborgen bij een dergelijke vraagstelling. Voor de onderlinge vergelijking van groepen en vergelijking met andere onderzoeken maakt dit niet uit. Dit is een standaard vraagstelling, die landelijk wordt gebruikt en daarin ook al eerder is uit getest. Vraag 3.3 Wat betekent dit voor de onderzoeksresultaten? Zie vorig antwoord. 6

7 4. Vragen over mest be- / verwerking: In het onderzoek wordt gesteld dat mest be- / verwerking tot veel hinder leidt. Vervolgens staat er dat het opvallend is dat in het binnengebied de meeste hinder ervaren wordt. Ook in Liessel is de hinder bijna even groot als in het buitengebied. Vraag 4.1 Hoe verklaart de onderzoeker dat de overlast van mest be- / verwerking in het binnengebied groter al dan niet gelijk is aan het buitengebied? Het is onmogelijk om hier vanuit het onderzoek een directe verklaring voor te geven. Wellicht is het feit dat mensen sociologisch gezien uit het binnengebied (verstedelijkt woongebied) minder gewend zijn om deze geur te ruiken en daarmee dus de verklaring is van de grotere overlast die ervaren wordt in hun directe woon- en leefomgeving. Vraag 4.2 Wat behoort volgens de onderzoekers toe aan mest be-/verwerking? Hoewel dit misschien niet de juiste bewoording is omdat er verschillende definities voor begrippen bestaan, zullen de meeste mensen dit omschrijven en interpreteren als alles wat met mest te maken heeft, dat wil zeggen van mestopslag tot mest uitrijden, verwerken (tot bijv. kunstmestkorrels) en bewerken (waarbij mest verder verwaard wordt); strikt genomen zou men onder mestbewerking verstaan moeten worden het geven van een andere functie aan mest. Dit gebeurt echter niet op agrarische bedrijven maar door een gespecialiseerd bedrijf. Onder mestverwerking wordt het maken van kunstmest verstaan. Vraag 4.3 Verwacht de onderzoeker dat alle respondenten in het binnengebied & Liessel, die niet zelf actief zijn in de (intensieve) veeteelt, in staat zijn om met hun neus het verschil aan te geven tussen de geur van (intensieve) veehouderij en mest be- / verwerking? Ja, het onderscheid tussen deze twee geurbronnen is duidelijk aan te geven door de meeste mensen, ook omdat ze verschillend in tijd en ruimte zijn. Vraag 4.4 Deelt u de mening van ons dat er mogelijk verwarring zit wat daadwerkelijk met mest be-/verwerking bedoeld wordt en wat men daarin kan ervaren op papier bij het invullen van de enquête? Nee, zie eerder antwoord. Voor de meeste mensen is deze begripsafbakening niet zo sterk; men zal duidelijk de beantwoording van de vraag relateren aan de waarneming die men heeft van de bron als totale aktiviteit in de directe omgeving en niet op afstand op een andere gespecialiseerd bedrijf. 7

8 5. Vragen over kosten & doorlooptijd: Het onderzoek is op verzoek van het Urgentieteam Deurne door GGD Brabant-Zuidoost uitgevoerd. Vraag 5.1 Wat zijn de totale kosten geweest van het onderzoek? 12073,00, excl BTW. Vraag 5.2 Wie gaat deze kosten uiteindelijk betalen? Is dit Gemeente Deurne? Kosten zijn voor rekening van het urgentieteam Brabant/provincie NB; gemeente heeft alleen gezorgd voor verzorging van de uitnodigingsbrieven en het ter beschikking stellen van een aantal gegevens uit de gemeentelijke basisregistratie (naam huishouden en adres). Vraag 5.3 Tijdens de thema-avond op woensdag 22 april in het gemeentehuis vertelde Drs. Henk Jans (GGD) dat er in andere gemeentes een soort gelijk onderzoek is gedaan. Deze hadden een hoger respons, vanwege het schriftelijke karakter en een langere doorlooptijd. Waarom is er in Deurne gekozen voor een kortere doorlooptijd? Omdat in kader van aanpak knelpuntsituaties in urgentiegebieden, waarbij geur, fijnstof, en belevingsaspecten ten aanzien van leefbaarheid van omgeving een bepalende factor zijn, men snel over resultaten wilde beschikken afgezet tegenover het beschikbare budget; wanneer je doorlooptijd langer maakt en men niet digitaal maar schriftelijk gegevens verzameld zouden de kosten een factor 3 hoger zijn uitgevallen. Vraag 5.4 Tenslotte vragen wij ons af wat de resultaten van de volwassenmonitor uit 2012 te maken hebben met de doelstelling van dit onderzoek. De doelstelling van het onderzoek staat omschreven in de laatste zin van alinea 1.1 en de overige informatie van 2012 is achtergrond informatie. In 2012 zijn in de volwassenmonitor van de GGD voor de gehele gemeente een paar vragen opgenomen over geurhinder en bezorgdheid over een aantal items, zoals over veehouderij en infectierisico s, over blootstelling aan resistente bacteriën en fijn stof; deze resultaten geven een zeer globaal beeld en zijn zeker niet direct door te vertalen naar de mate van hinder en bezorgdheid in de onderzochte deelgebieden. Dit in verband met een te kleine steekproef die toen gebruikt is. De resultaten van deze monitor zijn, zoals ook terecht opgemerkt wordt, gebruikt als inleiding en achtergrondinformatie om daarmee te verduidelijken dat er wel informatie is over belevingsaspecten ten aanzien van veehouderij, maar dat die slechts als indicator gezien moeten worden en niet als reële waarde. 8