Gebruik van analysesoftware in kwalitatief marktonderzoek Frank Geers, Annelies Verhaeghe, Tom De Ruyck en Niels Schillewaert Inleidend De toegankelijkheid van nieuwe (sociale) media voor de modale consument betekent een enorme verrijking voor het marktonderzoek.waar de onderzoeker vroeger vooral afhankelijk was van directe bevraging via groepsdiscussies of diepte-interviews, krijgt diezelfde onderzoeker nu tal van bijkomende mogelijkheden om dichter bij die consument te komen. Ten eerste kunnen sociale media als platform ingeschakeld worden. Online focusgroepen op basis van chat-technologie, etnografisch onderzoek via blogs en research communities vervangen steeds vaker traditioneel kwalitatief onderzoek. Typeerde kwalitatief marktonderzoek zich vroeger vaak als een locale activiteit, nu wordt, dankzij de technologie, ook meer en meer aan globaal kwalitatief online marktonderzoek gedaan, of worden meer landen in eenzelfde onderzoeksdesign opgenomen omdat de praktische bezwaren van onder andere verplaatsing zijn weggevallen. Ten tweede is er dankzij sociale media vandaag een onschatbare hoeveelheid informatie waarin consumenten spontaan hun mening over merken, producten en andere onderwerpen delen. Ging de marktonderzoeker vroeger vooral voor de directe bevraging omdat specifieke observatie en etnografie heel duur en tijdsintensief waren, inmiddels zijn de leefruimte, de badkamer en de keukenkast van de consument amper een muisklik verwijderd van de onderzoeker. Dankzij methodologieën als netnografie wordt de online buzz systematisch geanalyseerd en vertaald naar consumenten inzichten. Netnografie is een hedendaagse online vertaalslag van traditioneel etnografisch onderzoek. Het is een observationele onderzoekstechniek waarbij publiek beschikbare consumentenmeningen over sociale media (een gepredefinieerd universum van websites, blogs, fora, e.d.) worden verzameld en geanalyseerd met als doel een specifieke onderzoeksvraag te beantwoorden. Zalige tijden voor de kwalitatieve marktonderzoeker van de 21ste eeuw. De vijver om in te vissen wordt een oceaan, fysieke en virtuele grenzen lopen in elkaar over. Niemand kan de meerwaarde van dergelijke toename aan kwalitatief materiaal negeren of ontkennen. Er is echter een maar De hoeveelheid kwalitatieve data die beschikbaar is voor onderzoek wordt gigantisch. En ook de verschillende typen data nemen enorm toe; grote verhalen, kleine posts, links naar andere bronnen, foto s, filmpjes. De nieuwe realiteit zorgt voor een aantal nieuwe problemen. Het grootste probleem is de verwerking van de data. Hoe op een grondige kwalitatieve manier de data te ontsluiten? Hier bedoel ik niet alleen hoe op een juiste manier de data te begrijpen en te interprete- KWALON 45 (2010, jaargang 15, nr. 3) 45
ren, maar ook, in eerste instantie, hoe alle data te vatten en te verwerken. Het lezen van ± 500.000 comments voor een netnografisch onderzoek over dieren, voeding of patiënten, de transcripten (+/- 45 pagina s tekst per sessie) van 12 groepsdiscussies, het doornemen van 48 dagboeken over een periode van ± 3 weken lukt niet. We hebben het geprobeerd, maar het lukt niet. Niet vanuit economisch standpunt (zeker voor commercieel marktonderzoek), maar gewoon ook niet vanuit een menselijk standpunt. Een mens, zelfs een groep van mensen is niet in staat om een dergelijke kwantiteit te verwerken. Daarom zijn we op zoek gegaan naar een oplossing in de vorm van analysesoftware. Het keuzeproces Alvorens de zoektocht aan te vatten hebben we een aantal voorwaarden gedefinieerd waaraan het softwarepakket moest voldoen. Informatief: De software moet helpen op een betrouwbare en degelijke manier de informatie te ontsluiten. Ze moet alle data evenveel kans en aandacht geven. Transformationeel: De software moet helpen informatie te ontdekken, verbanden te leggen en inzichten naar boven te brengen die men met gewone handenarbeid niet zou (kunnen) ontdekken. Automatiserend: Deze voorwaarde is meerlagig. De software moet gemakkelijk bruikbaar zijn en moet zo veel mogelijk aansluiten bij het menselijk denken en diens analyseproces. De software moet sneller werken dan de mens, en met zo minimaal mogelijke inspanning tot een maximum aan output komen. Er zijn tal van pakketten in allerlei prijsklassen. Er zijn drie grote dimensies van belang bij het selecteren van geschikte software. Een eerste dimensie is het aantal woordenboeken (gepredefinieerde lijst van woorden) die het pakket bevat. Deze woordenboeken zijn belangrijk omdat ze helpen de kwalitatieve output te structureren. Bij bepaalde pakketten heb je er geen, dat wil zeggen dat je zelf alles (qua codering) moet aanmaken. Belangrijk hierbij is ook om na te gaan of het pakket gespecialiseerd is in bepaalde sectoren, zoals de financiële sector of de farmaceutische sector die elk hun specifiek taalgebruik hebben. Ook synoniemenlijsten die het pakket heeft, kunnen van belang zijn. Een tweede belangrijk onderscheid is de mate waarin het pakket aan zinsontleding doet. Door die zinsontleding kan het pakket inschatten of een bepaald woord of zinsdeel een relevante betekenisdrager is. Verbindingswoorden (en, of, enzovoort), lidwoorden of werkwoorden (hebben, zijn, doen, enzovoort) zonder specifieke inhoud worden bijvoorbeeld door het pakket genegeerd. Pakketten die grammaticale kennis hebben, respecteren ook de relaties tussen de verschillende woorden onderling. Een belangrijk element hierbinnen is sentimentanalyse. Bij sentimentanalyse gaat het pakket kijken welke positieve en negatieve attitudes aan welke onderwerpen gekoppeld worden. Wanneer een pakket geen zinsontleding kan uitvoeren, leidt dit dikwijls tot verkeerde resultaten. De zin Product A is verouderd, maar product B zou ik zeker aanraden wordt dan bijvoorbeeld ten onrechte beoordeeld als een zin met een gemixt sentiment voor product A én B, terwijl in realiteit er een negatieve houding is ten opzichte van product A, maar een positieve houding ten opzichte van product B. Ten slotte is het ook belangrijk om naar de exportmogelijkheden 46 Gebruik van analysesoftware in kwalitatief marktonderzoek
van het pakket te kijken. Steeds vaker worden tekstuele data ook gekwantificeerd. Zeker bij grotere hoeveelheden tekst, zoals bij netnografie, is het belangrijk om in te schatten hoe vaak een bepaald begrip voorkomt. In onze zoektocht hebben we uiteindelijk voor ibm spss Modeller 14.1 (voorheen Clementine) geopteerd doordat dit pakket aan de verschillende criteria voldeed. Het gebruik en hoe de software in het onderzoeksproces integreren Kijken we naar kwalitatieve analyse in ruime zin, dan onderscheiden we twee fundamentele stappen. Eerst en vooral gaat de software alle relevante begrippen uit de tekst destilleren. Dit gebeurt op basis van de woordenboeken en de grammaticale ontleding. Het resultaat is een lijst van alle betekenisvolle woorden in de tekst. Uiteraard is het zo dat de software onmogelijk alle productspecifieke woorden kan herkennen (denk bijvoorbeeld aan de naam van een nieuw product). Daarom kan de analist nog bepaalde termen toevoegen. De tweede stap in de analyse is categorisatie. In deze fase worden verschillende begrippen tot een onderliggend idee geclusterd. Bijvoorbeeld de begrippen prijs, geld, duur, herkend in stap 1, worden gehergroepeerd tot de categorie financiën. De categorisatie gebeurt aan de hand van het augmented research model, een term die we bij InSites ontwikkelden om aan te geven dat het gebruik van software bij de analyse leidt tot meer geavanceerde en verder gaande analyse dan het ouderwetse handwerk (zie figuur 1). Kwalitatieve analyse Patroonherkenning Taxonomiedetectie 3. Analyse van de originele data a.d.h.v. kwalitatieve inhoudsanalyse 2. Welke termen komen vaak samen voor? Welke concepten worden vaak vermeld (buiten de gepredefinieerde set van onderzoekstopics (bottom-up))? (A.d.h.v. Clementine) 1. In welke mate vinden we onze specifieke onderzoekstopics terug (top-down)? (A.d.h.v. Clementine) Figuur 1. Verwerking van de kwalitatieve data gebeurt via drie stappen In de eerste fase, de taxonomiedetectie, wordt doelmatig naar bepaalde categorieën gezocht. Stel dat de onderzoeksvraag in een bepaald project wil nagaan of de huidige merkwaarden nog altijd actueel zijn, dan wordt specifiek naar begrippen gezocht die de bestaande merkwaarden vertegenwoordigen en worden deze begrippen tot categorieën geclusterd. KWALON 45 (2010, jaargang 15, nr. 3) 47
De tweede fase is patroonherkenning. In deze fase laten we de data voor zichzelf spreken. Er wordt heel open gekeken naar welke onderwerpen naar voren komen, welke woorden gebruikt worden. De software screent alle inhoud en gaat na welke thema s allemaal aanwezig zijn. Het detecteren van thema s gebeurt op verschillende manieren. Een eerste manier van clusteren is: kijken naar welke begrippen vaak met elkaar voorkomen in 1 post of commentaar. De software kan ook gaan zoeken naar semantisch gerelateerde concepten. Wanneer bijvoorbeeld over hond, zoo en hok gesproken wordt, geeft het pakket aan dat het om het semantische concept dieren gaat. Via tagging (coding in ibm spss Modeller 14.1) worden dan groepen van woorden (zgn. semantische concepten) gelabeld zodat de data beter beheersbaar zijn en van een eerste bruikbare structuur sprake is. In deze fase werken ibm spss Modeller 14.1 (met haar gepredefinieerde set aan thema s) en de onderzoeker nauw samen. Naast het automatische zoekproces van de machine dient ook de mens, vanuit zijn specifieke onderzoeksstandpunt ook nog op zoek te gaan naar mogelijke nieuwe thema s. In de derde fase zitten we op het niveau van de echte kwalitatieve analyse waarbij de onderzoeker zelf verder de verkregen resultaten dient te analyseren en te interpreteren. Tekstanalyse is creatief en ook experimenteel omgaan met data. Het is een intensief zoeken naar wat mogelijk allemaal te vinden is. Het is niet een eenmalig stappenplan waarbij eerst een taxonomie in kaart wordt gebracht en daarna de verbanden worden blootgelegd. Het stappenplan kan zich meerdere keren herhalen en kan vanuit verschillende invalshoeken gebeuren. We illustreren hierna onze bevindingen met tekstanalyse via een concreet voorbeeldproject: The longest day (De Ruyck, Schillewaert, Verhaeghe & Friedman, 2009). De case The longest day The longest day staat voor een 24-uur durend, wereldomvattend kwalitatief marktonderzoek met als thema Maatschappelijk Verantwoord Ondernemen. De doelstelling van dit onderzoek was na te gaan of mvo een universeel gegeven is. Beleven consumenten in de verschillende landen en continenten mvo op eenzelfde manier of zijn er wezenlijke culturele verschillen. Aan de hand van twaalf opeenvolgende online focusgroepen van elk twee uur hebben we alle tijdszones doorkruist en zo virtueel de hele wereld rondgetrokken. In totaal hebben we met 97 consumenten gepraat verspreid over 33 landen. Alle deelnemers waren tussen 15 en 76 jaar oud. De sessies waren allemaal in het Engels. De deelnemers werden gescreend op de mogelijkheid zich vlot in het Engels uit te drukken. Na afronding van de groepsessies werd met de deelnemers in een besloten community gedurende twee weken nog verder gewerkt rond het thema. Dat leidde tot een massa aan kwalitatieve data, zowel in de vorm van transcripten als in de vorm van posts. Naast de verwerking en de analyse van de onderzoeksdata aan de hand van ibm spss Modeller 14.1 ging ook een onderzoeksteam op traditionele, volledig handmatige wijze 48 Gebruik van analysesoftware in kwalitatief marktonderzoek
aan de slag. Dit om een meer concrete evaluatie van het werken met analysesoftware te kunnen maken (zie verder). Hieronder beschrijven we hoe ibm spss Modeller 14.1 is gebruikt in het proces. Op het einde plaatsen we de twee manieren even tegenover elkaar. Alvorens effectief met de analyse software aan de slag te gaan is het noodzakelijk de data in logische blokken te structureren (bijvoorbeeld een blok met data rond merken, een blok met data rond wat is verantwoord ondernemen, enzovoort). Het is belangrijk om de logica van, in dit geval de discussiegids (de set van vragen die tijdens de groepsdiscussies is gebruikt), als basis te gebruiken om zo consistente inhoudsblokken te maken waarbinnen de software zijn gang kan gaan. Deze zogenoemde informatieorganisatie geeft de onderzoeker de zekerheid dat alles wat de software opgraaft relevant is en specifiek gerelateerd is aan het bevraagde onderwerp. Als dit is gebeurd, kan de software aan de slag en wordt gecodeerd. Alle tekst wordt door de software bekeken en specifieke woorden worden gecodeerd (bijvoorbeeld de vermelding kinderen valt onder de code Personen, of milieubewust valt onder Ecologie ) Daar ibm spss Modeller 14.1 zelf reeds over een zeer rijk woordenboek beschikt, verloopt dit codeerwerk semigeautomatiseerd. Wat binnen de context van coderen belangrijk is om mee te geven, is dat de deelnemers aan het onderzoek, de zogenoemde respondenten, zelf ook gecodeerd worden (zijn het mannen, vrouwen, de leeftijdsgroep waartoe ze behoren, land, e.d.). Deze codering wordt manueel uitgevoerd op basis van de rekruteringsvragenlijst. Deze codering (zie later) zal zeer handig blijken om specifieke analyse op persoonsniveau, op niveau van een specifieke groep mensen (bijvoorbeeld vrouwen versus mannen) uit te voeren. Na de codering kan de specifieke analyse gebeuren. Hierbij werd ook het augmented research-model toegepast. In taxonomiedetectie werd gekeken welke stakeholders allemaal door de respondenten werden genoemd bij Maatschappelijk Verantwoord Ondernemen. Daartoe werden alle begrippen die naar stakeholders verwezen, opgespoord en gecategoriseerd. Kwantitatief werd ook de frequentie aangegeven waarin bepaalde woorden naar voren kwamen. Bijvoorbeeld in figuur 2 is zichtbaar dat op de vraag, wie men de belangrijkste stakeholders vindt binnen de context van Maatschappelijk Verantwoord Ondernemen 58 keren de consument werd vermeld, tegenover bijvoorbeeld zeven keren de aandeelhouders. Deze analyse is gebaseerd op de categorieën die via de semigeautomatiseerde codering zijn ontwikkeld (combinatie van wat reeds aanwezig is in het woordenboek van ibm spss Modeller 14.1-software en aanvulling door onderzoeker). In de grafische weergaven kunnen grootte en/of omvang van een bepaald item gevisualiseerd worden. Deze analyse geeft een eerste beeld van mogelijk belangrijke items waar zeker verder specifieke KWALON 45 (2010, jaargang 15, nr. 3) 49
aandacht aan besteed moet worden. Deze analyse geeft ook een duidelijke indicatie van wat mogelijk belangrijke en minder belangrijke analyse-informatie is. Consumer 58 Employees 25 Supplier 4 Shareholders 9 Competition 5 Environment 29 Local society 43 Government 7 Figuur 2. Het belang van de verschillende stakeholders zoals vermeld door consumenten In de tweede stap werd gebruikgemaakt van patroonherkenning. De software gaat daarbij op zoek naar verborgen of moeilijk zichtbare links tussen uitspraken van een deelnemer, rond een bepaald merk, een bepaald thema (Concreet voor figuur 3 is gewerkt op de uitspraken van de deelnemers, wat zij concreet hebben gezegd over iets. Bijvoorbeeld safe, fun worden heel vaak binnen de context van een goede werkplek gebruikt, deze drie woorden komen heel vaak samen voor.) safe quality place to work fun time to innovate excellent work responsible company product well shareholders employees staff value good price leadership workers satisfied people client customers friendly advertisement customer relations customer service important goal Figuur 3. Tekstlink-analyse. Visuele weergave van samenhang specifieke topics 50 Gebruik van analysesoftware in kwalitatief marktonderzoek
In figuur 4 is de software voor tekstanalyse meer gericht op zoek gegaan naar de mate waarin specifieke thema s (resultaat van de coderingsoefening) bij bepaalde merken voorkomen. De lijnen tussen het merk (bijvoorbeeld Google) en de thema s tonen het samen voorkomen aan. De dikte van de lijnen toont de frequentie aan waarmee merk en thema samen voorkomen. Hoe dikker de lijn hoe meer merk en thema samen worden vermeld. POS_excellent POS_good STAKE_employees ECO_company google CSR_innovation CSR_responsible MARK_information SOCIAL_world MARK_tv POS_satisfied STAKE_employees PERSON_kids POS_affordable CSR_responsible disney POS_excellent POS_good CSR_education UNCERTAIN_safe Figuur 4. Tekstlink-analyse. Visuele weergave van samenhang specifieke topics En tot slot is er de traditionele kwalitatieve analyse waarbij de inhoudelijke uitkomsten worden geverifieerd en verder worden geïnterpreteerd. De onderzoeker gaat nu de bevindindingen (frequenties, relaties) die door ibm spss Modeller 14.1 zijn opgeleverd gericht verder uitdiepen en uitspitten door er opnieuw het ruwe materiaal bij te nemen. Bij de afronding van het project hebben we een kritische check gedaan naar de mate waarin ibm spss Modeller 14.1 aan de vooraf gestelde voorwaarden voldaan heeft. Die kritische check hebben we gedaan door zoals reeds vermeld het volledige onderzoeksproces volgens twee trajecten te laten verlopen. Een team van kwalitatieve onderzoekers heeft de onderzoeksdata op een volledig traditionele, handmatige manier verwerkt en een team van onderzoekers heeft gebruikgemaakt van ibm spss Modeller 14.1. KWALON 45 (2010, jaargang 15, nr. 3) 51
Automatiserend? Het structureren en de eerste interpretatie van de data gaat sneller (bijvoorbeeld ibm spss Modeller 14.1 had voor de tekstanalyse 104 uren nodig daar waar manueel 164 uren nodig waren. Bijna acht mandagen tijdswinst!). Het tellen van vermelde merken en producten ging veel sneller. Specifieke profielsplits (bijvoorbeeld nagaan wat vrouwen hebben gezegd, hoe frequent een bepaald merk in een bepaalde tijdszone voorkwam) konden op een eenvoudige manier worden uitgevoerd. Informatief? Kwalitatieve analysesoftware levert gelijksoortige resultaten op als traditionele analyse. Maar de resultaten binnen het ibm spss Modeller 14.1-traject zijn objectiever; de subjectieve invloed van de onderzoeker zelf (op basis van expertise en affiniteit met het onderwerp) wordt verminderd. Het onderzoeksrapport op basis van ibm spss Modeller 14.1 was meer gefundeerd op basis van heel concrete onderzoeksdata en meer gedetailleerd (waar het handmatig analyseren iets minder de kleine nuances van de data wist te pakken en te gebruiken). Conclusies konden ook beter en meer volledig gestaafd worden. Kwalitatieve analysesoftware zorgt voor een kwantitatieve toets die toelaat om niet alleen woordelijk beschrijvend, maar ook heel feitelijk verschillen tussen het belang van bepaalde onderzoeksbevindingen aan te tonen. Binnen dit onderzoek bezorgde ibm spss Modeller 14.1 ons een goed onderbouwde kickoff voor het uitwerken van het onderzoeksverhaal. Door de patroon herkenning kon creatief gebrainstormd worden en werd de basis voor een model gelegd (zie figuur 5). Relevante MVO 1 2 Sector Optimale connectie met de sector. Gebruik eigen sector expertise. Consument Begrijp je consument. Breng in kaart wat eigen sterkten en zwakten zijn. 4 3 Cultuur Hou rekening met culturele accenten. Maak het herkenbaar. Onderneming Merk Waarden van het merk moeten eenduidig aansluiten bij de bedrijfswaarden en missie. Figuur 5. Relevante mvo combineert vier dimensies 52 Gebruik van analysesoftware in kwalitatief marktonderzoek
Uit het onderzoek kwam naar voren dat de actuele zwakte van mvo-initiatieven vaak zit in een gebrek aan geloofwaardigheid en een gebrek aan relevantie voor de burger. Op basis van het onderzoek hebben we vier basisdimensies weten te definiëren die, gecombineerd, leiden tot een verhoging van de impact van mvo-acties. Transformationeel? Er schuilt een onderliggende betekenis in de woorden en teksten die ons werden aangereikt. De nuances die mensen gebruikten om een bepaald gevoel weer te geven, uitdrukking te geven aan hun standpunt waren met het blote oog of oor niet altijd zichtbaar. Dankzij de specifieke codering van de respondenten en hun origine konden voor alle specifieke vragen of onderzoeksinteresses de aparte culturen gemakkelijk geïsoleerd bekeken worden. Grote lijnen konden ook op de klassieke manuele wijze ontdekt worden. Echter het ontdekken van het detail, het zien van de nuance was slechts mogelijk dankzij de analysesoftware. Kwalitatieve analyse software heeft de kracht om deze op te sporen. Afrondende reflectie Kwalitatieve analyse software als ibm spss Modeller 14.1 is een verrijking voor elk onderzoekstraject waarbij kwalitatieve data worden gebruikt. Ze laat toe om op een efficiënte, flexibele en overzichtelijke wijze een gedetailleerd begrip te krijgen van een massa aan data. Op die manier wordt de rijkdom van de verzamelde menselijke data maximaal benut. De intense voorbereiding (het coderen) zorgt er wel voor dat de efficiënte en de echte toegevoegde waarde pas naar boven komen als het over een grote hoeveelheid data gaat. Analysesoftware biedt de kwalitatieve marktonderzoeker de mogelijkheid om dezelfde data op diverse manieren te bekijken. Er kan gemakkelijk van het globale naar het individuele ingezoomd worden. En bovenal, de kwalitatieve marktonderzoeker krijgt er een degelijke en objectieve onderzoekspartner bij waarop hij kan terugvallen in elke fase van zijn analysetraject. Het blijft echter een belangrijk gegeven: de software is en blijft een middel! Het is een instrument om bepaalde stappen in het analyseproces te faciliteren en de onderzoeker te helpen in diens zoektocht naar antwoorden. De finale kwaliteit van de analyseresultaten wordt nog steeds bepaald door de onderzoeker die met de software werkt. Zijn alertheid om verbanden te duiden en zijn bekwaamheid om relevante van niet-relevante data te onderscheiden zijn hierbij van doorslaggevend belang. Literatuur Ruyck, T. de, Schillewaert, N., Verhaeghe, A. & Friedman, N. (2009). The Longest Day: Sector and cultural differences in corporate social responsibility. Published in esomar Congress 2009, Leading the way Ethically, Responsibly, Creatively. KWALON 45 (2010, jaargang 15, nr. 3) 53