PRAKTISCHE HANDLEIDING BIJ DE STANDAARDVRAGENLIJSTEN

Transcriptie

1 PRAKTISCHE HANDLEIDING BIJ DE STANDAARDVRAGENLIJSTEN Optie Sportmanagement Vakgroep Bewegings- en Sportwetenschappen Faculteit Geneeskunde en Gezondheidswetenschappen UGent

2 INHOUD Achterliggend concept... 3 Praktisch aan de slag De populatie en steekproef Berekenen van steekproefgrootte Methoden van steekproeftrekking... 4 Niet-aselecte steekproef... 5 Aselecte steekproef Hoe de doelgroep bereiken Personaliseren van de vragenlijst... 9 Inhoudelijk... 9 Gebruiksvriendelijkheid... 9 Een naam geven aan uw enquête Een goede situering Test de enquête Het versturen van de uitnodigingen Verzending per post Verzending via Beoordeling van de respons Respons verhogen Non-respons Data ordenen Invoer in de datamatrix Aanbrengen van een identificatienummer Data analyseren en visualiseren Sorteren en selecteren Turven, frequenties en frequentietabellen Kruistabellen / Draaitabellen Het gemiddelde Van waardeschaal naar richtpercentage Automatische resultaten in de sjablonen

3 ACHTERLIGGEND CONCEPT De korte standaardvragenlijsten die ter beschikking werden gesteld, zijn bedoeld als basisvragenlijsten voor elk soort bevraging die relevante informatie kan opleveren voor gemeentelijke sportdiensten, sportfederaties en andere sportorganisaties. In totaal worden momenteel zeven verschillende standaardvragenlijsten aangeboden: Bent u tevreden over de sporthal? Bent u tevreden over het openluchtcentrum? Bent u tevreden over het zwembad? Bent u tevreden over een activiteit / lessenreeks Bent u tevreden over een evenement? Bent u tevreden over onze informatieverstrekking? Bent u tevreden over onze ondersteuning? Het is de bedoeling dat deze vragenlijsten dienen als een werkdocument waar elke gebruiker zijn eigen nuances kan in aanbrengen. Het staat u dus volledig vrij om vragen toe te voegen, aan te passen of te verwijderen. Om de consistentie van de vragenlijst te behouden en tevens om de verwerking eenvoudig te houden, raden wij u wel aan om dezelfde vraagtypes te hanteren als er reeds in de vragenlijsten werden gebruikt, maar daar wordt verder in deze handleiding op teruggekomen. Indien u van plan grondige wijzigingen aan te brengen, een uitgebreidere bevraging wenst te organiseren of meer wenst te weten over hoe een goede vragenlijst tot stand komt, raden wij u aan de volledige handleiding voor het opstellen van vragenlijsten te raadplegen voor praktische informatie en tips. PRAKTISCH AAN DE SLAG In deze handleiding wordt elk aspect van het onderzoek door middel van een vragenlijst overlopen. Er werden enkele nuttige theoretische principes verweven met concrete praktische tips die kunnen zorgen voor betere resultaten in het veld. De bedoeling is dat uw onderzoek voldoende wetenschappelijke achtergrond heeft om te kunnen spreken van een zinvolle bevraging zonder dat de haalbaarheid in het gedrang komt en u ontmoedigd wordt door te uitgebreide statistische procedures. 1. DE POPULATIE EN STEEKPROEF Als u gegevens wilt verzamelen via een vragenlijst, moet u goed bedenken voor wie de vragenlijst bedoeld is. U moet precies definiëren wat uw doelgroep is: welke personen behoren wel, en welke personen behoren niet tot de doelgroep. Vooraleer de standaardvragenlijsten kunnen worden gebruikt, is het belangrijk eerst nauwkeurig te bepalen welke groep personen, instellingen en verenigingen van belang zijn voor het onderzoek. Deze personen zijn de elementen en vormen samen de populatie van het onderzoek. Soms is de populatie nauwkeurig vast te stellen bv. via de ledenadministratie van een sportclub. Soms is de populatie gewoon niet duidelijk afgebakend bv. alle gebruikers van openbare sportterreintjes. 3

4 Als de populatie waarop de enquête zich gaat richten, gekend is, dan moet een belangrijke beslissing worden genomen. Zal de hele populatie worden bevraagd of wordt een steekproef getrokken? In sommige gevallen is het zeer eenvoudig en noodzakelijk om de volledige populatie te bevragen. Dit is vooral het geval wanneer de populatie niet omvangrijk is. vb.: alle leden van één sportclub Of wanneer er inspraak vereist is van iedereen uit de populatie. Vb.: alle bestuursleden van een sportclub Toch kan algemeen gesteld worden dat een populatieonderzoek meestal te omvangrijk en te duur is. Daarom wordt op een systematische manier een deel van de populatie bevraagd, de steekproef. 2. BEREKENEN VAN STEEKPROEFGROOTTE Het exact bepalen van de steekproefgrootte is een vak apart, omdat er gebruik gemaakt wordt van ingewikkelde formules. Tegenwoordig kan men online calculators vinden voor het bepalen van de steekproefgrootte. Een goed vb. is te vinden op De grootte van de geschikte steekproef wordt veelal bepaald door de grootte van de populatie, de gewenste betrouwbaarheid, de nauwkeurigheid en de foutenmarge waarmee uitspraken kunnen worden gedaan die een zo goed mogelijk beeld geven van de werkelijkheid. Onderstaande tabel geeft weer welke respons nodig is om generaliseerbare uitspraken te kunnen doen voor de gehele populatie. Vb.: Voor een populatie van 800 element zijn minstens 260 ingevulde enquêteformulieren nodig. Populatie Benodigde netto respons Populatie Benodigde netto respons Tabel 1: Voor 95% betrouwbaarheid en 95% nauwkeurigheid 3. METHODEN VAN STEEKPROEFTREKKING Nadat werd berekend of afgelezen in bovenstaande tabel hoeveel volledig beantwoordde formulieren er nodig zijn, is het belangrijk om de juiste personen te kiezen uit de populatie. Het kiezen van de elementen in de steekproef, wordt de steekproeftrekking genoemd. Het selecteren van de juiste proefpersonen kan op verschillende manieren gebeuren, afhankelijk van de populatie, de beschikbaarheid van gegevens en het beschikbare budget voor het voeren van het onderzoek. Hierna volgt een theoretische tussenkomst over de verschillende soorten steekproeftrekking meestal voorzien van een duidelijk voorbeeld. 4

5 Zo kan een steekproef op een aselecte (op toeval gebaseerd) of op niet-aselecte wijze worden getrokken. Bij de toevals- of aselecte steekproeven heeft elk element van de populatie een zo groot mogelijke kans om in de steekproef te worden opgenomen. Dit heeft als gevolg dat je op basis van de data van een aselecte steekproef conclusies kan trekken ten aanzien van de kenmerken van een populatie, en dit in tegenstelling met een niet-aselecte steekproef. De steekproef is select (of scheef) als bepaalde groepen uit de totale populatie onder- dan wel oververtegenwoordigd zijn, met als gevolg dat je gegevens enkel gelden voor je onderzochte groep. Bij vragenlijsten wil men meestal uitspraken doen die op de hele populatie kunnen worden toegepast, daarvoor is het noodzakelijke dat de steekproef op een aselecte manier wordt getrokken. NIET-ASELECTE STEEKPROEF Als men niet precies weet wie tot de populatie behoort waarop het onderzoek zich richt, kan geen aselecte steekproef worden getrokken. Dan zal toevlucht moeten worden genomen tot een nietaselecte steekproef. Voor niet-aselecte steekproeven wordt gekozen indien de onderzoeker: geen uitspraken over de totale populatie wil doen (vb. in de ontwerpfase van enquête) geen middelen heeft om een aselecte steekproef te trekken (gebrek aan tijd, budget en/of personeel) niet goed weet wie tot de populatie behoort (vb. drugsverslaafden) Men kan een onderscheid maken tussen restrictieve en niet restrictieve steekproeven. In een gerichte keuze (restrictieve) steekproef worden alleen analyse-eenheden opgenomen die aan bepaalde vooraf afgesproken kenmerken voldoen. Deze restrictieve steekproeven worden meestal gebruikt om een grotere representativiteit en/of efficiëntie van de steekproef te verkrijgen Niet-restrictieve steekproef De gemakkelijkheidsteekproef is een voorbeeld van een niet-restrictieve steekproef. De gemakkelijkheidsteekproef De gemakkelijkheidsteekproef (convenience sample) wordt getrokken op basis van gemakkelijkheidsoverwegingen, namelijk: de analyse-eenheden die voor het grijpen liggen en dus direct beschikbaar zijn worden in de steekproef opgenomen. De nadelen van deze steekproef zijn: Niet iedereen heeft een gelijke kans om gekozen te worden. We weten niet hoe groot de kans is om een bepaald individu te treffen. De systematische selectiefout bij deze steekproefmethode kan zeer groot zijn en er is geen enkele controle over de omvang of de richting van deze fout. Dit betekent dat we met de gegevens van deze groep geen enkele uitspraak kunnen doen over de totale populatie. Daarom is een dergelijke steekproef enkel maar geschikt tijdens een exploratieve onderzoeksfase, om een ruw idee te krijgen over de verschillende facetten van een probleem. Deze steekproefmethode wordt vooral gekozen wanneer er weinig geld en weinig tijd is om het onderzoek uit te voeren. Er dient hierbij te worden vermeld dat de vertekening des te kleiner zal zijn naarmate de te onderzoeken populatie beperkter en homogener is. Voorbeelden van gemakkelijkheidsteekproeven zijn: de groep deelnemers uit een lessenreeks die tijdens een bepaalde les aanwezig zijn. de eerste honderd mensen die bereid waren geïnterviewd te worden over hun bezoek aan het sportevenement. 5

6 3.2. Restrictieve steekproeven We onderscheiden volgende soorten restrictieve steekproeven: de beoordelings- of experten steekproef, de sneeuwbalsteekproef, de quota steekproef, en de routemethode. De beoordelingssteekproef De beoordelingssteekproef (judgement sample) wijkt enkel van de gemakkelijkheidssteekproef af door de beperkende voorwaarden die de keuze beperken bij de steekproeftrekking. De onderzoeker zal dus ook hier die personen selecteren die onmiddellijk beschikbaar zijn op voorwaarde dat ze aan bepaalde kenmerken voldoen. Voor diepte-interviews, focusgroepen en industrieel marktonderzoek wordt vaak gebruik gemaakt van deze experts. Een voorbeeld van een dergelijke steekproef is het uittesten van een nieuw sporthype op de eigen werknemers van de sportdienst. Men gaat er immers vanuit dat deze werknemers positief ingesteld zijn t.o.v. een nieuw product van de eigen dienst. Als deze groep 'experts' hun eigen product terugfluit, dan kan je verwachten dat dit ook bij de grote consumerende massa een flop zal worden. De sneeuwbalsteekproef De snowball-sampling wordt gebruikt wanneer de populatie moeilijk te vinden, te bereiken of aanspreekbaar is. Voorbeelden van dergelijke groepen zijn: directeuren van grote bedrijven, zeldzame gebruikers van de Finse Piste, drugsverslaafden, diabetespatiënten etc. Bij de sneeuwbalsteekproef ga je als volgt te werk: je bevraagt een lid van de doelgroep en vraagt via hem/haar contacten te leggen met andere leden van de doelgroep. Op deze manier wordt de steekproef steeds groter en krijg je een soort van sneeuwbaleffect. De quotasteekproef Bij een quota steekproef wordt er geprobeerd de populatie zo representatief mogelijk samen te stellen. Daartoe wordt de populatie in een aantal subgroepen (quota) verdeeld en tracht de onderzoeker uit elk van de subgroepen enkele leden te selecteren. Deze leden komen echter niet toevallig in de steekproef terecht. Voorbeeld: een onderzoeker wil de behoefte aan een nieuw subtropisch zwemparadijs in de omgeving van Gent leren kennen. Bij bestudering van stad Gent en haar bevolking kan de onderzoeker de bevolking indelen in vijf belangrijke leeftijdsgroepen en 7 belangrijke woonkernen. Dit betekent dat de populatie uit 35 subgroepen bestaat. Quota-steekproeven kunnen net zoals gestratificeerde aselecte steekproeven, propotioneel als nietpropotioneel worden samengesteld. Indien de onderzoeker zijn steekproef proportioneel representatief wil maken voor elk van deze 35 subgroepen, dan zal hij bij de samenstelling van de steekproef rekening moeten houden met de procentuele verhouding van deze subgroepen in de te onderzoeken populatie. Random walk Bij de random walk of routeprocedure probeert men de voordelen van een area sampling te combineren met een niet-aselecte steekproef. Deze methode wordt vaak gebruikt wanneer men de populatie goed kan definiëren maar de steekproef slechts bij benadering kan worden samengesteld. Een voorbeeld van deze routemethode: een onderzoek naar de mensen die regelmatig gebruik maken van het multisportveld in de gemeente. Deze doelgroep is duidelijk te bepalen maar moeilijk te lokaliseren. In de routemethode zal men 300 adressen selecteren in de gemeente. Deze 300 adressen dienen dan als startadressen. Vindt de onderzoeker op dit startadres geen gebruiker van het sportveldje dan zal hij het volgende huis bezoeken en zo 6

7 gaat hij verder tot hij een gebruiker kan lokaliseren. De onderzoeker krijgt richtlijnen voor het nemen van de route (1 startadres, 2 straat naar rechts tweede huis, 3 straat naar links vijfde huis enzovoort). Door het geven van richtlijnen vermijdt men interviewvertekeningen: anders zou de onderzoeker misschien het mooiste huis uit de straat kiezen, of steeds een huis met jonge mensen enzovoort. Een ander voordeel van de random walk methode is dat het gebied waar men onderzoek verricht beperkt wordt. In marktonderzoek is de random walk procedure zeer populair omdat het: veel goedkoper uitvalt dan het selecteren van een aselecte steekproef: het aantal verplaatsingen is nog beperkter een zekere vorm van representativiteit wordt gewaarborgd: geografisch, socio-economische kenmerken probleem van non-response wordt omzeild ASELECTE STEEKPROEF Er zijn verschillende soorten aselecte steekproeven te onderscheiden: enkelvoudige aselecte steekproef, systematische steekproef, getrapte steekproef, gestratificeerde steekproef, disproportioneel gestratificeerde steekproef en de geclusterde steekproef. Deze methoden worden nu omschreven en met behulp van eenvoudige voorbeelden wordt getracht de steekproeven begrijpelijk te maken. Enkelvoudige aselecte steekproef In een enkelvoudige aselecte steekproef heeft elk element uit de onderzoekspopulatie een even grote kans om in de steekproef terecht te komen. Alle namen worden als het ware in een doos gestoken en daaruit wordt de steekproef volledig willekeurig getrokken. Systematische steekproef Bij deze methode wordt de gehele populatie op een systematische wijze doorlopen. Het volgende voorbeeld geeft eenvoudig weer hoe een systematische steekproef op praktische wijze kan worden toegepast. Voorbeeld: u hebt een bestand van 7500 adressen en daaruit dient een steekproef van 150 adressen getrokken te worden. Een eenvoudige berekening (7500/150) leert ons dat er op elke 50 adressen één adres getrokken dient te worden. Vervolgens wordt nu eenmalig aselect een toevalscijfer getrokken onder de 50. Stel dat dit toevalscijfer 3 is, dan worden vervolgens het 53e, 103e, 153e enzovoort adres in de steekproef opgenomen. Het is belangrijk bij deze methode van steekproeftrekken dat de gehele populatie wordt gesorteerd op een bepaald kenmerk, waarbij voorkomen moet worden dat er een niet- toevallige factor bij insluipt. Getrapte steekproef Een getrapte steekproef bestaat uit meerdere steekproeftrekkingen. De steekproeftrekkingen worden in verschillende stadia afzonderlijk en na elkaar verricht. Het staat niet vast hoeveel stadia er doorlopen moeten worden. Er kan zowel een tweetrapssteekproef genomen worden als een drietrapssteekproef. Voorbeeld: bij een getrapte steekproef is er bijvoorbeeld een lijst waaruit in eerste instantie scholen worden getrokken, waarna vervolgens binnen die scholen leraren aselect worden geselecteerd. Bij een meertrapssteekproef kan er bijvoorbeeld voor worden gekozen om de lijst eerst te verdelen in verschillende soorten scholen, en vervolgens per groep een aantal scholen te selecteren. 7

8 Gestratificeerde steekproef Een populatie kan worden ingedeeld in groepen, bijvoorbeeld: kleine scholen en grote scholen, of leerlingen in verschillende leerjaren, of regio's in het land. Deze deelpopulaties worden 'strata' genoemd. Bij een gestratificeerde steekproef wordt per stratum een enkelvoudig aselecte steekproef getrokken. De verdeling naar omvang van de deelsteekproeven dient evenredig te zijn aan de verdeling naar omvang van de strata. Disproportioneel gestratificeerde steekproef Een disproportioneel gestratificeerde steekproef is een gestratificeerde steekproef waarbij de verhoudingen van de strata in de steekproef ongelijk zijn aan de verhoudingen van de strata in het steekproefkader vb.: er wordt uit elk stratum 75 personen bevraagd. Om tot representatieve uitkomsten voor de gehele doelgroep te komen, moet in dit geval een weging van de resultaten plaatsvinden. Deze wegingsfactor kan worden gehaald uit andere of voorgaande onderzoeken die zich richtten op dezelfde populatie. 4. HOE DE DOELGROEP BEREIKEN Eens de steekproef is samengesteld, is de volgende vraag die u zich moet stellen: welke benaderingsmethode zal worden gebruikt om de doelgroep te bereiken? U kunt bijvoorbeeld kiezen voor een benadering via internet, via de post, via de telefoon of via direct contact. De benaderingsmethode hangt af van uw doelgroep. Wanneer de leeftijd van uw doelgroep 70+ is dan is een webenquête misschien niet de verstandigste benaderingsmethode. Naast het voor ogen houden van de doelgroep spelen nog enkele overwegingen mee in de keuze of de vragenlijsten mondeling (telefonisch of persoonlijk), schriftelijk of via het internet worden afgenomen. Elke methode heeft immers zijn voor- en nadelen. In de onderstaande tabel worden de belangrijkste argumenten kort opgesomd. Mondeling Schriftelijk Online Voordelen Relatief weinig non-respons Weinig misinterpretatie Goede controle op het invullen Geschikt voor open vragen Anonimiteit Minder kans op sociaal wenselijke antwoorden Meer respondenten mogelijk Relatief weinig arbeidsintensief Goedkoop Grotere steekproef mogelijk Directe gegevensinvoer mogelijk in database Nadelen Duur en tijdsrovend Minder respondenten Niet anoniem Meer kans op sociaal wenselijke antwoorden Stelt hoge eisen aan vragenlijst Grotere kans op non-respons Geen controle op het invullen Minder geschikt voor open vragen (per post = duur) Motiveren is moeilijk Hoge kans op onvolledig ingevulde vragenlijsten / non-respons Onder/oververtegenwoordiging van bepaalde subgroepen Probleem van de steekproeftrekking Indien u opteert om de gegevens online te verzamelen, kunt u gebruik maken van verschillende softwarepakketten. Sommige zijn gratis beschikbaar, zoals Google Docs of enquetemaken.be. Anderen, zoals Check Market, Monkey Survey of Qualtrics, zijn betalend. De handleiding voor Google Docs is beschikbaar in een afzonderlijk document. Aangezien hier nog vele voorbeelden ontbreken, elk van deze pakketten een ander accent leggen, de mogelijkheden variëren en hun handleiding sterk van elkaar afwijkt, wordt in deze handleiding geen gedetailleerde beschrijving gegeven over de online mogelijkheden. 8

9 5. PERSONALISEREN VAN DE VRAGENLIJST Tot nu toe werd het doel van het onderzoek, de populatie, de steekproef en de bevragingsmethode vastgelegd. De volgende stap is het volledig klaarmaken van de vragenlijst. Naast de inhoud, zijn er nog tal van nevenelementen die moeten worden in acht genomen om tot een goede vragenlijst te komen. INHOUDELIJK Elk van de aangeboden basisvragenlijsten zijn opgebouwd uit een minimum aan demografische vragen (geslacht, geboortejaar en in sommige gevallen een extra vraag om groepen te kunnen onderscheiden) en een reeks standaard opinievragen die worden gescoord op basis van een 5 punts Likert schaal. Hiervoor werd geopteerd omdat enerzijds de vragenlijsten gemakkelijk in te vullen zijn en anderzijds de verwerking en interpretatie eenvoudig blijft. Uiteraard brengt deze keuze enkele negatieve aspecten mee. Vooral het feit dat er weinig ruimte voor nuance is, is het grootste minpunt. Likert schaal 5 punten van Helemaal eens tot Helemaal oneens Nominale schaal ja/nee Op die sjablonen zijn ook verschillende invulvensters voorzien waar eigen tekst en afbeeldingen kunnen worden ingevoegd. In principe zijn de aangereikte vragenlijsten dus kant-en-klaar, maar ze zijn ook volledig aanpasbaar aan uw situatie, verwachtingen en noden. Uit de verschillende aangeboden basisvragenlijsten kan de meest geschikte worden gekozen en daarna kunt u deze aanpassen. Er kunnen vragen worden toegevoegd, verwijderd en aangepast. Enkele tips voor het aanpassen van de vragenlijsten: Als u wenst vragen toe te voegen, hou steeds voor ogen houden wat u hoopt te weten te komen met de vraag en welke meerwaarde die vraag betekent voor het onderzoek. Als een vraag geen relevante informatie oplevert, kan ze beter worden weggelaten. Wij raden u aan dezelfde aard van bevraging (nominaal schaal of 5 punts Likert schaal) aan te houden omdat ook het aangeleverde sjabloon in Excel automatisch de resultaten hiervan kan berekenen, maar later meer hierover. Indien u toch andere soorten vragen wil gebruiken, verwijzen wij u verder naar de uitgebreide handleiding opstellen van vragenlijsten (te verkrijgen als een afzonderlijk document. In te veel onderzoeken wordt een hele waslijst aan demografische factoren bevraagd. Terwijl het criterium voor het opnemen van dit soort vragen is of ze nodig zijn om de gegeven antwoorden juist te kunnen interpreteren. Wees dus terughoudend, omdat het gevaar bestaat dat de antwoorden herleidbaar zijn tot de invuller, waardoor de privacy in het gedrang komt en dus ook de bereidheid tot invullen verminderd. Als mensen de vragen te persoonlijk vinden, zijn ze niet geneigd een antwoord te geven. GEBRUIKSVRIENDELIJKHEID Voordelen Makkelijk te begrijpen Kort en Duidelijk Nadelen Weinig nuance Geen nulpunt Geen nuancering Naast de inhoud, is ook de vorm van de vragenlijst van groot belang. Deelnemers zijn vlugger geneigd om de vragen te beantwoorden als de vragenlijst er aantrekkelijk uitziet. Hieronder volgen enkele tips op de enquête vormelijk zo aantrekkelijk mogelijk te maken. Zorg voor een overzichtelijke bladschikking De vragenlijst ziet er best verzorgd uit. Zorg voor een korte en krachtige vragenlijst: een ellenlange lijst schrikt af. Zet de vragen in een logische volgorde 9

10 Probeer een heldere lay-out te bekomen door eventueel leuke figuurtjes of kleuren gebruiken. Uit onderzoek is ook gebleken dat gebruik van geel of roze papier de hoogste respons oplevert. Zet de vragen in een goed leesbare lettertype Geef voldoende ruimte voor de toelichting van de invuller Zorg steeds voor een bedanking aan het eind van de enquête EEN NAAM GEVEN AAN UW ENQUÊTE Om te zorgen dat de respondenten uw enquête invullen, moet de respondent zich al door de titel aangesproken voelen. Sommige mensen weigeren een vanwege het onderwerp of de zender. U zou dan een titel kunnen overwegen die de aandacht trekt. Die titel mag alleen nooit misleidende informatie bevatten. Bovendien is het van belang dat de titel wel het doel aangeeft van de enquête. Hieronder volgt een aantal voorbeelden die zouden kunnen werken: Uw mening over onze winteractiviteiten Evaluatie over de lessenreeks Zumba Geef uw mening en win een reis naar Parijs Maak kans op een computer door u mening te geven EEN GOEDE SITUERING Wanneer een respondent de (web)enquête heeft geopend, is het wellicht nodig een stimulans in te bouwen om de enquête geheel in te vullen. Een goede inleiding kan hierbij al een stap in de goede richting zijn. Een goede inleiding over de vragenlijst is kort en bevat: Naam van de onderzoeksinstelling (plus eventuele opdrachtgever) Het doel van het onderzoek Het belang van het onderzoek Wat gedaan wordt met de resultaten Informatie over vertrouwelijkheid/ anonimiteit Een contactpersoon voor vragen over de enquête Uiterste datum voor het beantwoorden van de enquête Bedankt bij voorbaat voor de medewerking 6. TEST DE ENQUÊTE Het is beter om een probleem in de enquête op te lossen voordat de echte respondenten de enquête in handen krijgen. U kunt de enquête daarom beter eerst als test aan een klein aantal mensen sturen, ideaal een 10 à 20-tal personen, voordat u de enquête aan uw doelgroep stuurt. U kunt de enquête aan de hand van de testresultaten evalueren en ook kunt u vragen of er problemen waren bij het beantwoorden van de enquête. Bij de controle van het proefonderzoek naar inhoud en vorm, kunt u zich volgende vragen stellen: werden alle vragen beantwoord of zijn er veel blanco antwoorden? werden alle vragen beantwoord volgens de instructies? werden alle vragen correct geïnterpreteerd? werd de juiste persoon ondervraagd?... 10

11 7. HET VERSTUREN VAN DE UITNODIGINGEN Wanneer u de enquête heeft laten testen en indien nodig verbeterd heeft, kunt u de enquête laten invullen. De benaderingsmethodes zijn reeds besproken en daar kunt u nu gebruik van maken. De respondent kan een enquête het best op donderdag of vrijdag ontvangen zodat er in het weekend de tijd voor genomen kan worden om de enquête in te vullen. U kunt beter niet in vakanties of vlak voor feestdagen met een enquête aankomen want dan is de kans groter dat u weinig respons krijgt. Het is ook van belang dat u een datum aangeeft wanneer u de ingevulde enquêtes weer terug wilt zien. U zou uw respondenten op de hoogte kunnen stellen van de resultaten mochten zij daar prijs op stellen. VERZENDING PER POST Om een grote respons te bekomen is ook hier het kleinste detail van belang: De omslagenvelop en de inhoud moeten er verzorgd uitzien. Gebruik bij voorkeur een omslagenvelop van de opdrachtgever. Laat bij voorkeur ook de introductiebrief op briefpapier van de opdrachtgever drukken. Dit alles zorgt ervoor dat de aangeschreven persoon meer vertrouwen krijgt in het doel van het onderzoek. De enquête moet ook voor de respondent kosteloos kunnen worden teruggestuurd. Plaats een antwoordnummer op de enveloppe om terug te sturen, dat verhoogd het gevoel dat het een anoniem onderzoek betreft. VERZENDING VIA Tegenwoordig worden steeds meer uitnodigingen voor webenquêtes verspreid via . Deze methode is goedkoop en er kunnen op korte tijd heel wat personen worden aangeschreven. Aangezien mensen ook overspoeld worden door allerhande nieuwsbrieven en andere reclame mailings, is het belangrijk dat uw uitnodiging er uit springt en dat de uitnodiging om een correcte manier in de inbox van uw respondenten terecht komt. Zorg voor een krachtige titel bij het onderwerp Schrijf een korte inleiding over het onderzoek Plaats een duidelijke link naar de webenquête of steek de vragenlijst zeker in bijlage. Als u dit vergeet, komt dit helemaal niet professioneel over. Verstuur de s met een professioneel adres en niet met gratis aanbieders zoals hotmail en gmail. Respondenten zouden wel eens argwaan kunnen krijgen over de oprechtheid van de enquêtering. Indien u meerdere personen per mailing aanschrijft, zorg er dan steeds voor dat u werkt met undisclosed recipients zodat niet alle respondenten de adressen van de anderen te zien krijgen. 8. BEOORDELING VAN DE RESPONS Alle proefpersonen die worden opgenomen in de steekproef, zullen worden uitgenodigd om deel te nemen aan het onderzoek. Uiteraard is het onmogelijk om 100% van de formulieren terug te krijgen. Het is ook onmogelijk om op voorhand voorspellingen te doen over het percentage respons dat zou moeten worden behaald. In de praktijk wordt vaak gesproken over een responspercentage, maar zoals hierboven besproken, bepaalt enkel de netto-respons de betrouwbaarheid en de nauwkeurigheid van het onderzoek. 11

12 In de jaren 60 was de respons op een vragenlijst per post nog gemiddeld 60% Tegenwoordig is dat percentage gezakt tot 21%. Algemeen wordt ook aangenomen dat de respons per /online gemiddeld 11% lager ligt dan mocht dezelfde bevraging via de post zijn gedaan. CustomInsight, een Amerikaans bedrijf dat vooral marktonderzoek doet stelde: "Response rates vary widely for different types of surveys. Customer satisfaction surveys and market research surveys often have response rates in the 10% - 30% range. Employee surveys typically have a response rate of 25% - 60%. Regardless of the type of survey you are conducting, you can have a major effect on the number of respondents who complete your survey." Zoals uit bovenstaand citaat blijkt, moet met deze responspercentages zeer omzichtig worden omgesprongen. De responsratio (aantal antwoorden/aantal verstuurde vragenlijsten) blijkt immers afhankelijk te zijn van heel wat meer factoren, onder andere: manier van bevraging (telefoon, fax, ) de hoedanigheid van de afnemer (publiek, commercieel, academisch) doelpopulatie (studenten, werknemers, algemene populatie) het krijgen van een incentive (geschenk als bedanking voor deelname) Als het gaat om een loutere indruk te krijgen van wat er leeft onder de deelnemers, kan een lagere respons vaak al voldoende informatie opleveren. Dit geeft dan geen wetenschappelijk onderbouwd en statistisch correct beeld, maar kan wel een aanwijzing geven of tendensen aanduiden over het bevraagde. Belangrijk is om ook naar de absolute aantallen van de respons te kijken. 9. RESPONS VERHOGEN Aangezien de netto-repons doorslaggevend is om een goed onderbouwd onderzoek te bekomen, moet er ook alles aan gedaan worden op de respons zo hoog mogelijk te krijgen. Dit kan gebeuren ook enkele zeer kleine ingrepen. Hieronder enkele praktische tips: De enquête met enthousiasme uitreiken en bij de klant het belang aangeven van het invullen van de enquête. Of indien de vragenlijst via papier of mailing wordt verspreid, een enthousiaste introductiebrief of -nota voorzien Aandacht trekken voor het invullen van de enquête d.m.v. bijvoorbeeld posters, folders, informatie op de website. Laten zien aan de kandidaat-respondenten dat iets met de resultaten zal worden gedaan d.m.v. posters, folders, informatie op de website. De vragenlijst ter plaatse laten invullen. Nadeel hiervan is dat sociaal wenselijke antwoorden kunnen worden verkregen. Voor een eenvoudige manier zorgen om de vragenlijsten terug te bezorgen. Een herinneringsbrief versturen naar respondenten die niet hebben gereageerd. Dat kan het best ongeveer een week na de uiterste inzenddatum. Een goede herinneringsbrief bevat: het doel van de enquête het belang van de mening van de respondent een nieuwe uiterste inzenddatum een nieuw exemplaar van de vragenlijst 12

13 10. NON-RESPONS Ondanks het zorgvuldig en nauwkeurig trekken van de steekproef en het in acht nemen van alle tips om de respons zo hoog mogelijk te krijgen, zal echter nooit iedereen deelnemen aan de enquête. Sommige respondenten zullen de vragenlijst maar gedeeltelijk hebben ingevuld en anderen laten helemaal niets van zich horen. Deze laatste groep wordt de non-respons genoemd. Om de non-respons zo beperkt mogelijk te houden, is het belangrijk de respondent te motiveren om de vragenlijst in te vullen en terug te bezorgen. Als de vragenlijst niet werd beantwoord door een grote groep mensen is het belangrijk om na te gaan welke motieven deze mensen hadden om niet mee te werken. 11.DATA ORDENEN Eens de vragenlijsten zijn ingevuld en terug zijn verzameld, volgt de grote opdracht van de verwerking van de gegevens tot resultaten. Allereerst moeten de gegevens op een overzichtelijke manier worden verzameld, daarna volgen de beschrijvende resultaten en de centrummaten. In de volgende paragrafen wordt elk stuk van de data-invoer tot de eindresultaten besproken. INVOER IN DE DATAMATRIX Om alle verzamelde antwoorden op een overzichtelijke manier te ordenen, wordt een datamatrix opgemaakt. De datamatrix is een roosterweergave van alle variabelen enerzijds en alle respondenten anderzijds. Deze matrix kan worden gevormd in een statistisch programma, maar ook Excel heeft voldoende mogelijkheden om een correcte matrix op te bouwen. In dit rooster worden de antwoorden vooral cijfermatig weergegeven, omdat het invoeren van cijfers sneller gaat dan het typen van woorden, maar ook omdat cijfers wiskundige en statistische berekeningen toelaten achteraf. Zo wordt bijvoorbeeld het geslacht ingegeven door 0 voor vrouwelijk en 1 voor mannelijk. Om ervoor te zorgen dat achteraf iedereen weet waarvoor een bepaald cijfer staat, wordt een codeboek opgemaakt. Het codeboek is dus een atlas waarin alle vragen uit de enquête (variabelen) worden opgesomd met hun afkortingen, bereik en niveau. Opgelet: Dit codeboek is voor elke basisvragenlijst al opgemaakt en meegeleverd. Indien u zelf wijzigingen heeft aangebracht aan de standaardvragenlijsten, zal u ook manueel het codeboek moeten aanpassen. Enkele tips om tot een overzichtelijke datamatrix te komen: Hoewel Excel een hoge gebruiksvriendelijkheid heeft, zal het invoeren van de gegevens toch heel wat tijd in beslag zal nemen. Hou hier dus rekening mee, en voorzie voldoende tijd. Eveneens is het belangrijk dat dit erg nauwgezet gebeurt, een verlies van concentratie kan al snel leiden tot verkeerde invoer, en dus ook verkeerde resultaten. Zorg ervoor dat elke rij wordt voorbehouden voor één respondent en dat de vragen worden weergegeven in de kolommen. Zorg voor een eenvoudige opbouw en volg hierbij de structuur van de vragenlijst. Bij lange vragenlijsten kan per onderdeel een ander werkblad worden gebruikt. Zorg voor verschillende achtergrondkleuren per vraag. Dit vergemakkelijkt het intikken van de datamatrix aanzienlijk Vergeet niet tijdens het invoeren op zeer geregelde tijdstippen de gegevens op te slaan. 13

14 AANBRENGEN VAN EEN IDENTIFICATIENUMMER Voorzie elke beantwoorde vragenlijst van een identificatienummer. Elk nummer is een overeenkomstige case uit de datafile. Dit cijfer brengt men bovenaan op de eerste bladzijde van de vragenlijst aan in de rechterhoek. Voor de eerste vragenlijst is het nummer dan bijvoorbeeld 001. Het identificeren van de vragenlijsten is belangrijk voor het ontdekken van fouten gemaakt tijdens het intypen van de data. Vb.:men typt de gegevens van 300 enquêtes in. Bij het opvragen van de frequentietabel krijgt men voor geslacht een onmogelijke waarde (bv. 7). Er is dus duidelijk een typefout gemaakt. Wat nu? Indien er een identificatienummer is aangebracht, kan deze vragenlijst/case opnieuw worden opgezocht en verbeterd. Zonder identificatienummer is deze case niet meer correct. 12.DATA ANALYSEREN EN VISUALISEREN. Ondanks het feit dat alle gegevens zijn ingegeven in de datamatrix zijn de onderzoeksvragen van in het begin van onze bevraging nog niet beantwoord. Deze gegevens dienen dus nog verder worden geanalyseerd om tot eenduidige antwoorden te komen. Er zijn verschillende eenvoudige en meer complexze bewerkingen mogelijk in Excel om de gegevens de analyseren. We denken hierbij aan het weergeven van de aantallen, het groeperen per demografische factoren, de gemiddelden, richtpercentages enz. Deze analyses zullen automatisch worden berekend indien u gebruik maakt van het meegeleverde sjabloon van de basisvragenlijsten. Indien een diepgaandere analyse is gewenst raden wij u aan zich tot statistische handboeken te richten. TIP: Vooraleer u aan de slag gaat met het originele databestand, raden wij u aan een kopie op te slaan waarin u verschillende bewerkingen probeert. Mocht er iets fout lopen tijdens het uitvoeren van de bewerkingen, beschikt u dan nog steeds over de originele datamatrix en is niet het hele onderzoek verloren. SORTEREN EN SELECTEREN Een eerste handeling die men met de verzamelde gegevens kan doen is het sorteren volgens bepaalde eigenschappen die u het meest interesseert. In Excel kunt u gemakkelijke gegevens sorteren door het plaatsen van een filter op alle gegevens. (Office 2007: Volledige matrix selecteren - Start Sorteren en filteren Filter). Vervolgens kan men gemakkelijk per variabele selecties opgeven en enkel een overzicht krijgen van de gewenste data. Vb.: alle gegevens van de vrouwen ouder dan 50 jaar. Deze restricties zijn handig om een tijdelijk overzicht te krijgen van de antwoorden van bepaalde selecte groepen, maar geven geen permanent overzicht dat kan worden opgenomen in een rapportering. TURVEN, FREQUENTIES EN FREQUENTIETABELLEN Turven is de wetenschappelijke naam voor het weergeven van de aantallen per antwoordmogelijkheid bij elke vraag. Het resultaat van het turven worden dan de frequenties genoemd. Deze frequenties komen vooral tot hun recht in frequentietabellen en staafdiagrammen. Algemeen wordt aangenomen dit de meest eenvoudige manier is om resultaten voor te stellen. 14

15 Per vraag wordt dan weergegeven hoeveel respondenten elke antwoordmogelijkheid kozen, en worden deze cijfers ook in percentages ten aanzien van het totaal weergegeven. Voorbeeld frequentietabel en staafdiagram voor alle antwoorden voor Het aanbod is ruim en divers. Het aanbod is ruim en divers Aantal % Helemaal niet akkoord 37 13,03 Niet akkoord 28 9,86 Neutraal 76 26,76 Akkoord 45 15,85 Helemaal akkoord 82 28,87 Geen antwoord 16 5,63 Totaal Het aanbod is ruim en divers ,03 9,86 Helemaal niet akkoord 76 26, , ,87 Niet akkoord Neutraal Akkoord Helemaal akkoord 16 N % 5,63 Geen antwoord KRUISTABELLEN / DRAAITABELLEN Door middel van frequentietabellen kunnen de resultaten voor slechts één afzonderlijke vraag worden voorgesteld. Vaak is het echter interessant gegevens te kruisen. Dit is mogelijk door middel van kruistabellen, in Excel wordt gesproken van draaitabellen. Het gebruik van kruistabellen / draaitabellen is voornamelijk interessant om gegevens over de meningen/opinies te koppelen aan objectieve gegevens over de persoon of levenssituatie. De meest interessante kruisingen zijn deze met het geslacht, de leeftijd van de respondent (in categorieën), de nationaliteit of afkomst, etc. Opgelet: De mogelijkheden voor het opmaken van kruistabellen zijn afhankelijk van de grootte van de steekproef. Kruisingen zijn pas betekenisvol wanneer men een groep van voldoende omvang beschouwt. Vb.: een kruising wordt gemaakt tussen de tevredenheid met het aanbod en leeftijd van de deelnemers. Als men echter voor een bepaalde leeftijdscategorie (stel 30 tot 40-jarigen) slechts over 5 respondenten beschikt, waarvan er twee tevreden zijn, dan is het niet aangewezen te zeggen dat 40% van de dertigers tevreden is over het aanbod. Ook hier wordt aangeraden zowel de resultaten in aantallen als in percentages weer te geven. Zo is het steeds duidelijk wat de omvang van de verschillende groepen is, en kunnen bepaalde resultaten worden genuanceerd. 15

16 Voorbeeld kruistabel: Antwoorden voor Het aanbod is ruim en divers per leeftijdscategorie < N % N % N % N % N % N % N % Helemaal niet akkoord 2 6,9 4 9,5 5 7, ,2 9 22,5 7 18,9 0 0,0 Niet akkoord 3 10,3 1 2,4 3 4,6 6 10,3 8 20,0 6 16,2 1 7,7 Neutraal 7 24, , , ,2 8 20, ,7 5 38,5 Akkoord 4 13,8 9 21, ,9 5 8,6 4 10,0 9 24,3 3 23,1 Helemaal akkoord 11 37, , ,1 9 15, ,0 4 10,8 4 30,8 Geen antwoord HET GEMIDDELDE 2 6,9 1 2,4 5 7,7 7 12,1 1 2,5 0 0,0 0 0,0 Als een onderzoek wordt gedaan, heeft men op een bepaald moment erg veel getallen. Dat kan vervelend zijn, want men kan al snel niets meer zeggen over het onderzoek. Daarom bestaan centrummaten als gemiddelde, meridiaan en modus. Het gemiddelde is de centrummaat die het best gekend is. Het kan worden berekend op interval- en op rationiveau. Het gemiddelde wordt als volgt berekend: gemiddelde = (som van alle waarnemingen) / (aantal waarnemingen) Als een indeling in klassen gebeurt, dan kan alleen als een schatting wordt gemaakt van het gemiddelde. 1. Bereken van elke klasse het klassenmidden. 2. Vermenigvuldig de klassenmidden met de frequentie en tel die uitkomsten bij elkaar op. 3. Deel het totaal van de uitkomsten door het totaal van de frequenties. Vb.: Gemiddelde leeftijd is 7511 / ,45 jaar Klassen Klassenmidden Frequenties Berekening Product N < x N , x 15,5 449,5 N x N , x 34,5 1000,5 N , x 44,5 1290,5 N , x 54,5 1580,5 N x VAN WAARDESCHAAL NAAR RICHTPERCENTAGE SOM = 284 SOM = 7511 Hoe verwerkt men de vragen met een waardeschaal uit 5 gradaties naar een globaal cijfer naar één cijfer en een percentage zodat men weet waaraan te sleutelen? Want om de doelstellingen van de aanpak te bepalen, is een richtcijfer gewenst. Hiervoor moeten de scores worden vertaald naar een percentage. Wat ook de betekenis is van de verschillende antwoordmogelijkheden en/of de gradaties zoals belang, ervaring, verwachting, tevredenheid, frequentie..., meestal kan een rangschikking worden gemaakt van een slechte naar optimale score. In onderstaande tabel wordt een schematisch overzicht gegeven met mogelijke scoringsmogelijkheden. Antwoordmogelijkheden Helemaal niet akkoord Niet akkoord Neutraal Eerder Akkoord Helemaal akkoord Methode ,50 0 0,50 1 Methode 2 0 0,25 0,50 0,

17 Afhankelijk van de gekozen methode, die telkens een andere waarde toekent aan een bepaald antwoord, zal ook het richtpercentage anders geïnterpreteerd moeten worden Vb1.:Om het percentage te berekenen voor methode 1, gaat men als volgt te werk: Tel het aantal met antwoord Helemaal niet akkoord en vermenigvuldig dit met -1 Tel het aantal met antwoord Niet akkoord en vermenigvuldig dit met -0,50 Tel het aantal met antwoord Neutraal en vermenigvuldig dit met 0 (altijd 0) Tel het aantal met antwoord Akkoord en vermenigvuldig dit met 0,50 Tel het aantal met antwoord Helemaal akkoord en vermenigvuldig dit met 1 Maak de som van de vijf resultaten. Deel de bekomen som door het totale aantal antwoorden op de vraag. Het bekomen resultaat vermenigvuldigd met 100 is het gezochte percentage. Het richtpercentage kan dan als volgt worden geïnterpreteerd: Richtpercentage < -50% = helemaal niet akkoord Richtpercentage -50% en 0%= niet akkoord Richtpercentage 0% en 50% = eerder akkoord Richtpercentage >50% = helemaal akkoord Vb2.:Om het percentage te berekenen voor methode 2, gaat men als volgt te werk: Tel het aantal met antwoord Helemaal niet akkoord en vermenigvuldig dit met 0 (is altijd 0) Tel het aantal met antwoord Niet akkoord en vermenigvuldig dit met 0,25 Tel het aantal met antwoord Neutraal en vermenigvuldig dit met 0,50 Tel het aantal met antwoord Akkoord en vermenigvuldig dit met 0,75 Tel het aantal met antwoord Helemaal akkoord en vermenigvuldig dit met 1 Maak de som van de vijf resultaten. Deel de bekomen som door het totale aantal antwoorden op de vraag. Het bekomen resultaat vermenigvuldigd met 100 is het gezochte percentage. Het richtpercentage kan dan als volgt worden geïnterpreteerd: Richtpercentage < 25% = helemaal niet akkoord Richtpercentage 25% en 50%= niet akkoord Richtpercentage 50% en 75% = eerder akkoord Richtpercentage >75% = helemaal akkoord AUTOMATISCHE RESULTATEN IN DE SJABLONEN Voor alle aangeleverde standaardvragenlijsten werd ook een automatische verwerking van de datamatrix voorzien. Concreet houdt dit in dat als u gebruik heeft gemaakt van het meegeleverde sjabloon voor de datamatrix, er ook automatisch enkele interessante parameters worden berekend. Eerst en vooral worden voor elke vraag de aantallen weergegeven voor elke demografische variabele en de opinievragen. Daarnaast wordt ook de percentages en enkele gemiddelden berekend. Voor de opinievragen worden ook richtpercentages berekend. Op basis van deze berekeningen, kunt u op een eenvoudige manier frequentietabellen en staafdiagrammen opmaken om uw onderzoekrapport kracht bij te zetten. Indien u wijzigingen heeft aangebracht aan het sjabloon, zult u de resultaten voor deze vragen zelf moeten berekenen. Indien u dezelfde vraagtypes heeft gebruikt als in de basisvragenlijsten, kunnen de formules meestal worden gekopieerd. 17