Copyright informatie. Correspondentie: tel

Transcriptie

1 Copyright informatie Dit document bevat een aantal uitkomsten van het Nederlands Online panel vergelijkingsonderzoek (NOPVO) welke zijn gepresenteerd op de openbare bijeenkomst Online panels, goed bekeken georganiseerd op 14 september 2006 te Utrecht. Het is alleen toegestaan naar bepaalde gegevens uit dit onderzoek te verwijzen indien de volgende brongegevens vermeld worden: - titel: Uitkomsten Nederlands Onlinepanel Vergelijkingsonderzoek (NOVPO) bronlocatie: - auteurs: T. Vonk, P.Willems, R. van Ossenbruggen Correspondentie: nopvo@moaweb.nl tel

2 Nederlands Online Panel Vergelijkings Onderzoek (NOPVO) Online panels goed bekeken 14 september 2006 Projectteam NOPVO

3 NOPVO 2006 Projectteam Robert van Ossenbruggen Ted Vonk Pieter Willems ProCression Onderzoekpaleis Millward Brown Projectmanager Maaike Vonk Stadspeil Hosting dataverzameling NEBU

4 Sessie 3 Hoe reageren panelleden op een vragenlijst?

5 Agenda sessie 3: Hoe reageren panelleden op een vragenlijst? Tijdstip/dag van invullen Snelheid van invullen Respons naar achtergrondkenmerken De kwaliteit van het beantwoorden van een vragenlijst Gastspreker Ineke Stoop Hoge respons en zelfselectie respondenten

6 Binnen 24 uur 75% van vragenlijsten ingevuld Tijdstip invullen Donder da g Vrijdag Zaterdag Zondag Maandag Dinsdag Woensdag Eindtotaal % 4% 4% 2% 1% 4% 5% 2% % 9% 5% 3% 5% 6% 4% 4% % 23% 20% 21% 22% 17% 17% 11% % 11% 13% 17% 11% 12% 13% 7% % 17% 20% 17% 17% 13% 19% 26% % 16% 16% 17% 18% 16% 14% 22% % 13% 13% 18% 21% 21% 24% 23% % 6% 8% 5% 5% 12% 4% 6% Totaal 50% 27% 8% 6% 5% 3% 1% 100%

7 Groot deel vragenlijsten wordt op werk(-tijden) ingevuld Selectie: Doet betaald werk voor meer dan 15 uur per week Tijdstip invullen vragenlijst op werkdagen Tijdstip invullen Vrijdag Dinsdag Donderdag Maandag Woensdag Totaal % 5% 1% 3% 5% 2% % 9% 6% 5% 6% 4% % 21% 20% 18% 13% 9% % 10% 10% 13% 9% 5% % 16% 17% 11% 20% 24% % 17% 18% 18% 18% 24% % 16% 23% 22% 26% 27% % 6% 4% 10% 4% 6% Totaal 100% 100% 100% 100% 100% 100% Aandeel ingevulde vragenlijsten 50% 27% 5% 3% 1% 86% let op: uitnodigingen zijn vanaf donderdagmiddag verstuurd

8 Benodigde invultijd varieert over panels: wijst op andere gedrag Interviewduur x panel (n=4 extreme waarden) % duur (in minuten) M=15 M=10,9 M=11,5 M=14 2 snelste panels 2 langzaamste panels internetgebruik p. week 14,3 en 15,3 uur 7,9 en 8,5 uur doe mee uit interesse 31%, 40% 50%, 54% doe mee voor beloning 40%, 44% 11%, 25% aantal panels lid 5,3 en 5,4 1,7 en 2,4 aantal reclames gezien 4,1 en 4,4 5,3 en 5,5 bekendheid merken geen effect

9 Meervoudige panelleden werken sneller % van 5 panels lid Interviewduur x aantal panels lid van 1 panel lid duur (in minuten) 1 panel (M=13,1) 2-4 panels (M=12,4) 5+ panels (M=11,5) Gemiddelde invultijd Lid van 1 panel :13,5 minuten Lid van 2-5 panels: 12,9 minuten Lid van 6-10 panels: 11,9 minuten Lid van 11 of meer panels:11,2 minuten

10 Geen sterk effect zichtbaar voor interviewdag Interviewdag x aantal panels lid % start do 27-4 vrij 28-4 zat 29-4 zon 30-4 ma 1-5 di 2-5 wo 3-5 do panel 2-4 panels 5+ panels Interview dag naar lidmaatschap aantal panels 1e dag 2e dag 3e dag 4e dag 5e dag 6e dag 7e dag Gemiddeld aantal panels waar men lid van is 3,52 3,17 2,94 2,85 2,81 2,65 2,43 <- = 75% van de response

11 Het beter responderende panellid is. Vrouw Boven de 50 Respons NOPVO naar geslacht Hoger opgeleid respons % Respons NOPVO naar hoogst genoten opleiding Man 48% Basis onderwijs 44% respons % Vrouw 53% LBO/VMBO Mavo 49% 51% MBO 50% Havo/VWO 54% Respons NOPVO per leeftijdscategorie respons % HBO Wetenschappelijk 52% 51% jaar 44% jaar jaar 48% 51% jaar 57%

12 Kwaliteit van data o.a. afhankelijk van: Effort in open antwoorden Neiging tot gebruik categorie wil niet zeggen Neiging tot gebruik categorie weet niet Doorklikkers : respondent die op reeks schalen iedere keer hetzelfde antwoordt Neiging tot gebruik van neutrale antwoorden Noemen van niet bestaande merken

13 Open antwoorden: van één woord tot een opstel (1/2) Open vraag: Waarom geeft u het beleid van het huidige kabinet een <rapportcijfer>? Wat vindt u goed en niet goed aan het beleid van het huidige kabinet? aantal woorden toelichting

14 Open antwoorden: van één woord tot een opstel (2/2) Eén op 8 maakt zich hier makkelijk tot zeer makkelijk van af (1 of 2-4 woorden) Maar ook: hele lange verhalen! zeer kort: 1 woord kort: 2-4 woorden zin: 5-30 woorden verhaal: 31 of meer woorden 52% 58% 63% 5% >80 woorden! 35% 2% 5% 10% 7% 11% 14% 20% 26% min tot max min tot max min tot max min tot max

15 TOMA: 1 op 8 houdt het bij 1 merk voor gezien Gevraagd: Welke biermerken kent u, al is het alleen maar van naam? tot: 13%

16 Luie en actieve panels? Wederom: substantieel deel kent heel weinig biermerken of houdt het snel voor gezien? Maar ook zéér lange merkenlijsten Vraag: meten we spontane bekendheid of moeite? 80% Aantal spontaan genoemde biermerken 60% 40% 40% 46% 51% 20% 0% 24% 23% 21% 18% 18% 13% 14% 13% 9% 8% 4% 1% min tot max min tot max min tot max min tot max min tot max

17 Wil niet zeggen : politiek wel, etniciteit niet 7 vragen met wil niet zeggen categorie stemgedrag/intentie: 4 geboorteland zelf/vader/moeder: 3 Regelmatig wil niet zeggen bij politieke vragen maar nauwelijks bij etniciteit omdat dit geen gevoelig punt is? of omdat we geen etnische diversiteit in panels hebben?

18 Weinig doorklikkers te constateren Doorklikker : respondent die op reeks schalen iedere keer hetzelfde antwoordt Hoe gaat dat bij lange(re) stellingenblokken? saboteurs? 30% 20% 12% 10% 0% 7% 7% 5% 3% 2% 0% 1% 2% doorklik Balkenende doorklik eigen buurt doorklik beide min totaal max

19 Gemakzuchtige respondent levert minder bruikbare data 21% 22% 14% 12% 12% 12% 11% 14% 6% 2% 1% 1% 7% 1% 1% 0% 7% 6% 4% 3% 2% 3% 3% 6% 1+ wil niet zeggen (7) 1+ weet niet (12) 'doorklikkers' 6+ neutrale score op 5-p schalen (10) fake tv merk genoemd 0 reclames gezien totaal professioneel loyaal gemakzuchtig

20 Gastspreker: Ineke Stoop Effecten van opzet en onderhoud van panels op respons Hoge respons en zelf-selectie respondenten

21 Ineke Stoop Effecten van opzet en onderhoud van panels op respons Hoge respons en zelf-selectie respondenten

22 Waarom is een hoge respons belangrijk?

23 Hoge respons betere resultaten Bij een random steekproef en 100% respons heb je een goede schatter van de populatie Bij nonrespons hangt de ernst samen met de hoogte van de nonrespons en het verschil tussen respondenten en nonrespondenten Als respondenten en nonrespondenten veel verschillen, maar dit verschil samenhangt met een bekend kenmerk, valt nonrespons makkelijk te corrigeren Nonrespons is erg als factoren die deelname bepalen samenhangen met het onderwerp van het onderzoek (en dan erger naarmate de nonrespons hoger is)

24 Hoe kan je een hoge respons krijgen? Lagere bovengrens leeftijd (ouderen interviewen duurt te lang) Hogere ondergrens leeftijd (geen toestemming ouders nodig) Geen niet-nederlandssprekenden Geen onderzoek onder mobile phone only Geen onderzoek onder mensen met geheime telefoonnummers Geen onderzoek onder niet-internet gebruikers Reken non-contact niet tot nonrespons Bereken respons als percentage van de personen die eerst via de telefoon beloofd hebben mee te werken Alleen onderzoek onder leden van access panels Alleen onderzoek onder leden van access panels die bijna altijd meedoen

25 Response rate Selecteer trouwe leden access panel: 70% of 80% respons gegarandeerd Response percentiles access panel

26 Hoge respons hoeft niet tot betere resultaten te leiden, zeker niet als alle moeilijke gevallen bij voorbaat worden uitgesloten

27 Een hoge respons bij access panels, watmaakthetuit? Nonrespons bij access panels speelt in 4 fasen: Nonrespons bij moederonderzoek Nonrespons bij werving Verwijdering slecht responderende personen Nonrespons op een specifiek onderzoek Om uitspraken te doen over nonresponsvertekening moet je ook de nonrespons in de eerdere fasen meenemen en nagaan welk verband er in die eerdere fasen kan zijn met het onderwerp van het onderzoek

28 Door opzet en onderhoud van panels is het mogelijk een hoge respons te verkrijgen. Dit is echter geen bewijs voor een hogere kwaliteit.

29 Zelf aanmelden van respondenten bij panels zou verboden moeten worden?

30 Effecten van zelfaanmelding Bij eenmalige surveys: geen nonrespons Bij panels: geen nonrespons in wervingsfase Wat is het verband tussen factoren achter zelfaanmelding en de inhoud van een survey? Bij zelfaanmelding panels ga je ervan uit dat na correctie voor een aantal bekende kenmerken deelnemers en niet deelnemers niet van elkaar verschillen. Vooronderstellingen niet bewijsbaar

31 Zelfaanmelding Geen nonrespons (initieel) Professionele respondenten: paneltijgers Controle over personalia? Doel aanmelden: resultaten beïnvloeden? Geen goede basis voor access panel als je uitspraken wil doen over de bevolking: Mening panel = mening panel Selecteren bijzondere groepen??

32 De geest uit de fles Marktonderzoek Gebruik onze panels: beter, sneller, goedkoper Opdrachtgevers en onderzoekers Weinig voorbehoud bij reclame panels Weinig informatie te verkrijgen over werving, samenstelling, onderhoud, ijking Media, opdrachtgevers Techniek beschikbaar, dat kan ik zelf ook

33

34 Kwaliteitsrichtlijnen en kwaliteitsonderzoek zeer belangrijk

35 DANS symposium Access panels en online onderzoek: Panacee of slangenkuil 12 oktober, Den Haag Marktonderzoekers, academici en opdrachtgevers (overheid)