Een voorbeeld van surveyonderzoek uit de praktijk. Lees-Voorbeeld. Het onderzoeksdomein. Inhoud van dit college. Survey Onderzoek

Transcriptie

1 Survey Onderzoek Uitdagingen en Voorbeeld uit de praktijk Ronald Batenburg 8 oktober 2009 Inhoud van dit college Basis-uitdagingen bij surveyonderzoek Lees-voorbeeld Toepassing en illustratie op basis van een evaluatieonderzoek naar het overheidsprogramma Nederland gaat Digitaal Afsluiting 1 4 basis-uitdagingen bij surveyonderzoek Lees-Voorbeeld 1. Waar haal je de voldoende adressen/namen vandaan Vaak: willekeurig Beter: gebruik steekproeftheorie 2. Hoe maak je een goede vragenlijst Vaak: verzin wat vragen bij elkaar Beter: gebruik conceptuele modellen en theorie 3. Hoe haal je een voldoende response Vaak: 1 keer reminden en afsluiten Beter: doe non-response onderzoek 4. Hoe haal je het meeste uit surveydata Vaak: draai wat percentages en tabellen uit Beter: gebruik meetmodellen en toetsende statistiek Eén op de tien ict projecten mislukt volledig. Dat blijkt uit de nieuwste ICT-barometer van Ernst & Young. Opvallend is volgens Ernst & Young het hoge aantal mislukte bedrijfskritische ICTprojecten, zoals systeem- en officemigratie en de implementatie van financiële of boekhoudsystemen. Van de ICT-projecten die de afgelopen twee jaar zijn opgestart, blijkt 60 procent gedeeltelijk of volledig mislukt. Eén op de tien projecten faalde volledig, terwijl vijf op de tien gedeeltelijk misliep. Bij 27 procent van de (deels) mislukte projecten werd niet aan de verwachtingen voldaan, en liep het project uit op de tijdsplanning. Bij 16 procent rezen de kosten de pan uit. Volgens Jacob Verschuur, directeur Ernst & Young ICT Leadership mislukken er niet alleen meer projecten dan vorig jaar, maar worden er ook minder opgestart. Gemiddeld zeventien procent minder dan vorig jaar. In de afgelopen twee jaar mislukte de implementatie van financiële of boekhoudsystemen bij ruim bedrijven deels of geheel. Bij officemigratie geldt dit voor ruim bedrijven en bij systeemmigratie is dit voor meer dan bedrijven het geval. Schrikbarende aantallen voor de continuïteit van het Nederlandse bedrijfsleven, aldus Verschuur. De ICT Barometer is het tweemaandelijks onderzoek van Ernst & Young naar ontwikkelingen op het gebied van ICT in Nederland en maakt deel uit van de EY Leadership programma s. De ICT Barometer is uitgevoerd door Interview-NSS onder 600 directeuren/managers en professionals. Het onderzoeksdomein Een voorbeeld van surveyonderzoek uit de praktijk Nederland Gaat Digitaal Periode Budget van 33,5 miljoen Workshops, seminars, basis- en uitgebreide adviezen, schriftelijk en digitaal informatiemateriaal Gericht op het MKB om de toepassing van ICT/e-business te stimuleren Verantwoordelijkheid: Ministerie van Economische Zaken Uitvoering: Syntens 1

2 De onderzoekstrigger Het onderzoeksdoel Beleidsdoelstelling: Het verhogen van de toepassing van ICT en e-commerce door het Nederlandse MKB tot een niveau dat zich minimaal kan meten met de top van Europa (A) Toename bewustwording MKB over ICT (B) Toename toegang & gebruik ICT in MKB (C) Impact op prestaties MKB (D) NGD en programmaonderdelen (workshops, spreekuren, advies, brancheprogramma s, etc.) Het evalueren van het programma Nederland Gaat Digitaal, door het vaststellen van de: Doeltreffendheid van het programma Doelmatigheid van het programma Het formuleren van beleidsadviezen ten aanzien van: Bijstelling Eventuele voortzetting 7 8 De onderzoekscontext Terug naar het doel: een evaluatie-onderzoek Opdrachtonderzoek Andere vormen van onderzoek Opdrachtgever: Ministerie van Economische Zaken Waarom EZ Opdrachtnemer: Dialogic Waarom Dialogic Was het programma doeltreffend Zien we een effect Was men tevreden Was het programma doelmatig Is alles goed verantwoord Bleef alles binnen budget Moet met het programma worden doorgegaan Bijstellen doelen Bijstellen middelen Vraag 1: Zien we een effect Aanpak effectmeting: steekproeftrekking Steekproef naar Branche, grootteklasses Hoe bepaal je dat Hoe onderzoek je dat 1. Waar haal je de voldoende adressen/namen vandaan 2. Hoe maak je een goede vragenlijst 3. Hoe haal je een voldoende response 4. Hoe haal je het meeste uit surveydata Alle MKBbedrijven in Nederland (1-200 werknemers) Schatting CBS: (per 1/1/2005) Syntens: Ca Deelnemers aan NGD (schatting: ) Niet- (schatting: ) Business Monitor (totaal.000 vestigingen) Data- en registratiebestanden (schatting ) Steekproefkaders zijn identiek! Wn wn wn wn Industrie Bouw Groothandel Auto/reparatie Detail Horeca Transport Zakelijke dienst Target = 320 voor NGD-gebruikers + 80 voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand) en intensiteit Wn wn wn wn Industrie Bouw Groothandel Auto/reparatie Detail Horeca Transport Zakelijke dienst Target = 800 voor NGD-gebruikers voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand) Streven: voor elke 2 NGD is er 1 vergelijkbare nietdeelnemer als evenknie 2

3 Maak gebruik van bestaande theorie: maturity-modellen (1) Maak gebruik van bestaande theorie: maturity-modellen (2) Bewustwording ( awareness ) Kennis-vergroting en -verhoging Concreet gedrag (toegang&gebruik) Bedrijfsprestaties ( impact ) Het MKB-bedrijf is overtuigd van het belang van ICT/e-business voor het bedrijf 2. Het MKB-bedrijf is overtuigd van de noodzaak om in ICT/e-business te investeren 3. Het MKB-bedrijf zorgt voor nieuwe ICT/e-business-competenties, kennis en vaardigheden ( intern dan wel extern) 4. Het MKB-bedrijf vergroot en verbetert de toepassing ICT/e-business binnen het bedrijf 5. Het MKB-bedrijf verhoogt haar bedrijfsperformance door de toepassing ICT/e-business 1. Enkel passief gebruik van externe netwerken; geen aanbod van online diensten; 2. Presentatie van het eigen bedrijf via een website; 3. Het ontvangen van orders via elektronische netwerken, zoals internet; 4. Elektronisch leveren van goederen of diensten, en/of klantenondersteuning via elektronische netwerken; 5. Automatische koppeling tussen de ICT-systemen van klanten en de eigen ICT-systemen voor het verwerken van verkooporders 14 Aanpak effectmeting: dataanalyses Webenquête, deel 2 - Bedrijfsprestaties (winst, omzet) - Status en ontwikkeling ICTinvesteringen - Digitale diensten - Infrastructuur -Projecten - Houding en toekomstige ICT- investeringen Telefonische enquête - Bedrijfsprestaties (winst, omzet) - Status en ontwikkeling ICTinvesteringen - Digitale diensten - Infrastructuur -Projecten - Houding en toekomstige ICTinvesteringen 15 Nonresponse analyse Nonresponse analyse Primaire analyses: Significante verschillen in ICT-investering en ontwikkeling, uitgesplitst naar: Sector / Grootteklasse Intensiteit deelname Combinatie grootte-sector Regio Moment / periode NGD controlegroep 16 Effectmeting 1: zijn er verschillen in ICT-gebruik Passief netwerkgebruik Elektronische orderontvangst Elektronische (uit)levering Externe systeemkoppeling NGD-gebruikers Effectmeting 2: zijn er verschillen in ICT-meerwaarde Geschatte positieve effect van on-line inkoop Geschatte positieve effect van on-line verkoop Geschatte toegevoegde waarde van CRM Impact ICT/e-business is positief voor: Interne processen Productinnovatie Samenwerking Planning en management groep NGDgebruikers Tevredenheid met succes van e- business 17 ICT volwassenhe id / econ. Performance Website- presence Controlegroep Controle- Vraag 2: Was men tevreden Hoe bepaal je dat Hoe onderzoek je dat 1. Waar haal je de voldoende adressen/namen vandaan 2. Hoe maak je een goede vragenlijst 3. Hoe haal je een voldoende response 4. Hoe haal je het meeste uit surveydata 3

4 Alle MKBbedrijven in Nederland (1-200 werknemers) Schatting CBS: (per 1/1/2005) Syntens: Ca Aanpak tevredenheidsmeting: steekproeftrekking Deelnemers aan NGD (schatting: ) Steekproef naar Branche, grootteklasses en intensiteit Wn wn wn wn Industrie Data- en Bouw registratiebestanden Groothandel (schatting ) Auto/reparatie Detail Horeca Transport Zakelijke dienst Target = 800 voor NGD-gebruikers voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand) Industrie Bouw Groothandel Auto/reparatie Horeca Transport Webenquête, deel 1 wn wn - Deelname NGD/CIC programmaonderdelen: -Soort, intensiteit, tijdstip, etc. -Evaluatie NGD/CIC programmaonderdelen -Soort, intensiteit, tijdstip, etc -Doelmatigheid - Was een alternatief goedkoper/effectiever Deelnemers aan NGD (schatting: ) Aanpak surveyonderzoek: meetinstrumenten Data- en registratiebestanden (schatting ) Steekproef naar Branche, grootteklasses en intensiteit Webenquête, deel 1 - Deelname NGD/CIC programmaonderdelen: - Soort, intensiteit, tijdstip, etc. - Evaluatie NGD/CIC programmaonderdelen - Soort, intensiteit, tijdstip, etc -Doelmatigheid - Was een alternatief goedkoper/effectiever Tevredenheid: evaluatie Webenquête, deel 2 -Bedrijfsprestaties (omzet, winst) -Status en ontwikkeling ICTinvesteringen - Digitale diensten - Infrastructuur - Projecten -Houding en toekomstige ICTinvesteringen Zakelijke dienst Target = 320 voor NGD-gebruikers + 80 voor CIC-gebruikers (werkelijke celverdeling is afhankelijk van samenstelling registratiebestand) 19 Tevredenheid: evaluatie 20 Opzet tevredenheidsmeting Dat was het onderzoeksplan Webenquête, deel 1 - Deelname NGD/CIC programmaonderdelen: -Soort, intensiteit, tijdstip, etc. - Evaluatie NGD/CIC programmaonderdelen: -Soort, intensiteit, tijdstip, etc -Tevredenheid -Toegevoegde waarde - Doelmatigheid -Was een alternatief goedkoper/effectiever Nonresponse analyse Vergelijking met: Oorspronkelijke doelstellingen Bijgestelde doelstellingen Primaire analyses: Tevredenheid en toegevoegde waarde per soort dienst/product Profiel van voor- en achterlopers, intensieve sporadische Vergelijking met: Syntens evaluaties Bureau Bartels onderzoek En dan nu de praktijk! 21 Steekproef websurvey NGD- (1) BESCHIKBARE BRONNEN-ADMINISTRATIES MEDIAPLAZA SYNTENS SYNTENS WORKSHOPS WORKSHOPS ADVIES TOTAAL AANTAL 'RECORDS' Steekproef websurvey NGD- (2) STEEKPROEF OP BASIS VAN JAAR EN NGD-ACTIVITEIT: AANTAL UNIEKE PERSONEN WAARVAN MET -ADRES WAARVAN DOELGROEP AANTAL UNIEKE BEDRIJVEN Meerdere (contact)personen per bedrijf Meerdere workshops/adviezen per persoon en/of per bedrijf Onvolledige of ontbrekende ( ) adressen Onvolledige of ontbrekende bedrijfskenmerken (grootte/branche)

5 Voorbeeld onderdeel websurvey NGD- Response websurvey NGD- N A. verstuurd 2494 B. adres bruikbaar 2360 N C. Enquete begonnen 689 D. Enquete afgerond 409 % Bruto response (C/B) 29,19 Netto response (D/B) 17,33 26 Responsverdeling naar omvang (links) en branche (rechts) Responsverdeling naar deelname aan NGD-deelname Workshop % % 0 8% overig 14% landbouw 2% industrie 18% Uitgebreid advies Workshop, basisadvies, uitgebreid advies, documentatie Basisadvies Documentatie % openbaar bestuur, onderwijs, zorg, overige diensten 22% bouwnijverheid 8% Workshop, documentatie Basisadvies, uitgebreid advies, documentatie Basisadvies, uitgebreid advies % % verhuur, zakelijke en financiele diensten 19% reparatie handel horeca 10% vervoer opslag communicatie 7% Workshop, uitgebreid advies Basisadvies, documentatie Workshop, basisadvies Workshop, basisadvies, documentatie Workshop, uitgebreid advies, documentatie 10 Uitgebreid advies, documentatie Workshop, basisadvies, uitgebreid advies Responsverdeling naar functie respondent Steekproef telefonisch survey niet-ngd- Anders, namelijk... 9% Grootteklasse (ICT) manager/ afdelingshoofd 13% Bedrijfsleider 3% Directeur 9% Directeur/ eigenaar 66% BIK Branche 1 t/m 9 10 t/m 20 t/m 50 t/m Totaal industrie bouwnijverheid reparatie, handel, horeca vervoer, opslag, communicatie verhuur, zakelijke en financiële dienstverlening openbaar bestuur, onderwijs, zorg, milieudienst, overige dienstverlening Totaal

6 Response telefonisch survey niet-ngd- N A. Telefonisch benaderd B. Respondent bruikbaar N C. Enquete begonnen D. Enquete afgerond 400 % Netto response (D/B) 24,10 Voorbeeld onderdeel telefonisch survey niet-ngd- 24 Heeft de invoering van ICT/e-business toepassingen effecten op uw bedrijfsprestaties Ja Nee 25 Hoe groot is de bijdrage geweest van ICT/e-business in uw bedrijf op de volgende aspectenis deze bijdrage Vrijwel nihil Klein Niet klein, maar ook niet groot Tamelijk groot Groot Weet niet / wil niet zeggen 31 Verschillen tussen NGD-eelnemers en niet-ngd- Waar ligt dat aan Hoe kun je bepalen wat het echte of netto effect is van het NGDprogramma zelf Zo nee, waarom niet Zo ja, hoe dan De effect-analyses: aanpak Brede mix en robuustheid als oplossing voor het netto-effect -probleem Effectmeting ICT-gebruik (verschillende indicatoren) Effectgroep-vergelijking (wel/geen NGD-deelnemer) Subgroep-vergelijking (klein/groot, sector) Effect-vergelijking (extensief/intensieve NGD-deelnemer) ICT-meerwaarde (verschillende indicatoren) Effectgroep-vergelijking (wel/geen NGD-deelnemer) Subgroep-vergelijking (klein/groot, sector) Effect-vergelijking (extensief/intensieve NGD-deelnemer) Tevredenheidsmeting Algemene programma Specifieke onderdelen Effect-meting ICT-gebruik (1) Effect-meting ICT-gebruik (2)

7 Robuustheid effect-meting ICTgebruik: sugbroepen (*=sig) MKB-onderneming is in het bezit van een: Verschil NGD- en niet- T HH ZD OD Netwerk, nl: - LAN * * * * - Intranet * * - extern toegankelijk * * * bedrijfsnetwerk Website met daarop: - bedrijfspresentatie * * * * * * - productinformatie * * * * * * - vaste klantenpagina * * * * Webapplicatie om: - digitaal producten af te * * * * leveren - klanten en after sales te ondersteunen ICT-applicaties die gekoppeld zijn met die van externen op het terrein van: * * * * * - verkoop * * * * * * - inkoop * * * * * - productieplanning en logistiek * * * - financieel management * * * * - personeelsmanagement * * - kennismanagement * * * 37 Robuustheid effect-meting ICTgebruik: mate NGD-gebruik (sig) NGD MKB-onderneming is in het Extensieve Intensieve bezit van een: (N=230) (N=286) Netwerk, nl: - LAN Intranet extern toegankelijk bedrijfsnetwerk Eigen website met: - bedrijfspresentatie productinformatie vaste klantenpagina Webapplicatie om: - digitaal producten af te leveren - klanten en after sales te ondersteunen IT-applicaties die gekoppeld zijn met die van externen op het terrein van: verkoop inkoop productieplanning en logistiek - financieel management personeelsmanagement kennismanagement Effect-meting ICT-meerwaarde (sig) Robuustheid effect-meting ICTmeerwaarde: subgroep (*=sig) NGD Verschil NGD- en niet MKB-onderneming heeft bijdrage van ICT ervaren aan: Deelnemers (N=516) Niet (N=4) MKB-onderneming heeft bijdrage van ICT ervaren aan: T HH ZD OD Kostenreductie 2,8 2,0 Omzetverhoging 29 2,9 19 1,9 Tijdwinst 3,5 2,8 Betere interne communicatie 3,1 2,1 Hogere klanttevredenheid 3,2 2,2 Betere productkwaliteit 2,8 2,0 Nieuwe producten en diensten 2,9 1,9 Hogere arbeidsproductiviteit 3,0 2,1 Kostenreductie * * * * * * Omzetverhoging * * * * * * Tijdwinst * * * * Betere interne * * * * * * communicatie Hogere klanttevredenheid * * * * * * Betere productkwaliteit * * * * * Nieuwe producten en * * * * * * diensten Hogere arbeidsproductiviteit * * * * * * Robuustheid effect-meting ICTmeerwaarde: mate NGD-gebruik (sig) Uitkomsten tevredenheidsmeting (1; schaal 1-4) NGD MKB-onderneming heeft bijdrage van ICT ervaren aan: Extensieve (N=286) Intensieve (N=230) Kostenreductie 2,9 2,7 Omzetverhoging 27 2,7 31 3,1 Tijdwinst 3,5 3,6 Betere interne communicatie 2,9 3,2 Hogere klanttevredenheid 3,0 3,4 Betere productkwaliteit 2,7 2,9 Nieuwe producten en diensten 2,8 3,0 Hogere arbeidsproductiviteit 3,0 3,

8 Uitkomsten tevredenheidsmeting (2 ; schaal 1-4) De workshops/seminars hebben bijgedragen aan de ICT-toepassing: - één of meerdere bedrijfsfuncties zijn geautomatiseerd 2,04 - verschillende bedrijfsfuncties zijn geautomatiseerd en verbonden met een netwerk 2, - verschillende bedrijfsfuncties zijn geautomatiseerd en maken gebruik van eenzelfde 2, gegevensbestand door middel van een geïntegreerd informatiesysteem - bedrijfsfuncties zijn geautomatiseerd en verbonden met informatiesystemen van andere 215 2,15 organisaties Het basisadvies heeft bijgedragen aan de ICT-toepassing: - één of meerdere bedrijfsfuncties zijn geautomatiseerd 2,53 - verschillende bedrijfsfuncties zijn geautomatiseerd en verbonden met een netwerk 2,48 - verschillende bedrijfsfuncties zijn geautomatiseerd en maken gebruik van eenzelfde 2,40 gegevensbestand door middel van een geïntegreerd informatiesysteem - bedrijfsfuncties zijn geautomatiseerd en verbonden met informatiesystemen van andere organisaties NDG 2,02 De effect-analyses: uitkomsten (consistent) Effectmeting ICT-gebruik (verschillende indicatoren) Effectgroep-vergelijking (wel/geen NGD-deelnemer) Subgroep-vergelijking (klein/groot, sector) Effect-vergelijking (extensief/intensieve NGD-deelnemer) ICT-meerwaarde (verschillende indicatoren) Effectgroep-vergelijking (wel/geen NGD-deelnemer) Subgroep-vergelijking (klein/groot, sector) Effect-vergelijking (extensief/intensieve NGD-deelnemer) Tevredenheidsmeting Algemene programma Specifieke onderdelen 43 Terug naar het doel: antwoorden evaluatie-onderzoek Was het programma doeltreffend Zien we een effect Was men tevreden Was het programma doelmatig Is alles goed verantwoord Bleef alles binnen budget Moet met het programma worden doorgegaan Bijstellen doelen Bijstellen middelen Afsluiting: hoe kan survey-onderzoek nog beter 1. Waar haal je de voldoende adressen/namen vandaan 2. Hoe maak je een goede vragenlijst 3. Hoe haal je een voldoende response 4. Hoe haal je het meeste uit surveydata 8