Inhoudsanalyse met AmCAT. Wouter van Atteveldt Nel Ruigrok Janet Takens Carina Jacobi

Transcriptie

1 Inhoudsanalyse met AmCAT Wouter van Atteveldt Nel Ruigrok Janet Takens Carina Jacobi 9 januari 2014

2 2

3 Inhoudsopgave I Automatische Inhoudsanalyse 5 1 Inhoudsanalyse met AmCAT Query: de zoekopdracht Selectie media en periode Functies Query Hypothese toetsing Zoektermen formuleren Booleaans zoeken Synoniemen Wildcards Homoniemen Frases Controle zoektermen Overzicht AmCAT Keyword Search operatoren Berekening van de betrouwbaarheid van zoektermen Face validity Betrouwbaarheid Precision Recall II Handmatige Inhoudsanalyse 39 4 Het uitvoeren van Handmatige Inhoudsanalyse Populatie en meeteenheid Steekproeftrekking Coderen

4 4 INHOUDSOPGAVE 4.4 Relatie handmatige en automatische analyse Coderen: praktische tips Betrouwbaarheid van handmatige inhoudsanalyse Procedure Overeenstemming Verwarringstabellen Cohen s Kappa III Statistiek voor Inhoudsanalyse 59 6 Statistiek: basiskennis Populatie en steekproef De keuze van de steekproef Meetniveau van variabelen De normaalverdeling, toetsen en significantie De normale verdeling De standaardnormale verdeling Toetsen van een hypothese m.b.v. een normaalverdeling De wortel n wet en betrouwbaarheid van de steekproef De centrale limietstelling Significantie en substantie Hypothesen toetsen voor nominale variabelen Kruistabellen en chi-kwadraat Praktijkvoorbeelden van nominale toetsen Toetsen voor ratiovariabelen: t-test Independent samples t-test Paired samples t-test Verdelingen Samenhang tussen ratiovariabelen: correlatie 89

5 Deel I Automatische Inhoudsanalyse 5

6

7 HOOFDSTUK 1 Inhoudsanalyse met AmCAT Inhoudsanalyse is een analysemethode waarmee op systematische wijze relevante concepten in een tekst worden gemeten. Geautomatiseerde inhoudsanalyse verwijst naar inhoudsanalyse met behulp van een computer. Het grote voordeel van geautomatiseerde inhoudsanalyse is dat computers snel en goed kunnen tellen. Daardoor kunnen met behulp van geautomatiseerde inhoudsanalyse grote hoeveelheden tekst snel geanalyseerd worden. Het nadeel van geautomatiseerde inhoudsanalyse is dat computers woorden kunnen herkennen en tellen, maar dat ze niet kunnen lezen. Computers kunnen woorden herkennen, maar geen concepten. Daarom is aan onderzoekers de taak om zoektermen te formuleren om de computer te instrueren om concepten te herkennen op basis van woordcombinaties. Geautomatiseerde inhoudsanalyse kan uitgevoerd worden in AmCAT met behulp van de Query functie. De mogelijkheden van de Query worden in dit hoofdstuk besproken. U kunt inloggen op AmCAT met een browser, bijvoorbeeld Firefox of Google Chrome. U gaat daarvoor naar het adres: Links ziet u invulvelden waar u de aan u verstrekte username en password kunt invoeren om in te loggen. Nadat u bent ingelogd komt u in het hoofdscherm van AmCAT. De Query functie kunt u bereiken door eerst uw project te selecteren via projects in het startmenu van AmCAT, en hierna op het tabblad Query te klikken. Dit brengt u in het keyword search scherm. Figuur 1.1 toont het keyword search scherm. Om de Query functie te gebruiken dient u allereerst een articleset te selecteren. Een articleset is een verzameling van documenten waarbinnen u gaat zoeken. Een voorbeeld van een articleset is een verzameling van alle politieke nieuwsberichten welke gedurende een verkiezingcampagne in alle landelijke dagbladen zijn verschenen. Een articleset kan echter ook andersoortige documenten bevatten, zoals beleidsdocumenten, Tweede kamer handelingen, pers- 7

8 8 Inhoudsanalyse met AmCAT Figuur 1.1: Openingsscherm Query berichten of de transcripties van televisieprogramma s. Als u bij articleset op all sets klikt, krijgt u een lijst te zien met articlesets binnen het betreffende project. De standaardinstelling is all sets, oftewel zoeken binnen alle articlesets van het geselecteerde project. De stappen die u moet zetten om een zoekopdracht uit te voeren worden nu stap voor stap besproken. Daarbij zal de volgorde van de invoervelden in het keyword search scherm worden gevolgd. 1.1 Query: de zoekopdracht Om te beginnen met de geautomatiseerde inhoudsanalyse moet u een zoekopdracht invoeren in het Keyword Search String(s) veld. In dit veld kunt u meerdere zoektermen tegelijkertijd invoeren. U voert meerdere zoektermen in door op een nieuwe regel met een nieuwe zoekterm te beginnen. Als u geïnteresseerd bent in immigratie en integratie en het debat rond deze onderwerpen als één debat beschouwt, voert u uw zoektermen voor immigratie en integratie op één regel in. Als u daarentegen de aandacht voor immigratie en integratie met elkaar wilt vergelijken, dan voert u uw zoektermen voor deze concepten op twee verschillende regels in. De lengte van de zoektermen is onbeperkt. Stel dat u wilt weten hoe vaak er positief danwel negatief naar Geert Wilders verwezen wordt. U voert dan drie zoektermen in op afzonderlijke regels: een zoekterm voor Geert Wilders, een zoekterm met indicatoren voor positieve referenties en een zoekterm met indicatoren voor negatieve referenties. Aangezien er 1001 manieren zijn om positief danwel negatief naar iemand te refereren, hebben we een zeer lange zoekterm nodig. Deze zoekterm kan bijvoorbeeld bestaan uit honderden bijvoegelijke naamwoorden met een negatieve danwel positieve

9 1.2 Selectie media en periode 9 betekenis. In hoofdstuk 2 vindt u meer informatie over het formuleren van zoektermen. 1.2 Selectie media en periode De zoekopdrachten worden standaard op de geselecteerde articleset(s) in hun geheel uitgevoerd. De Query functie biedt echter de mogelijkheid om uw analyse uit te voeren op een subset van uw articleset(s). U kunt deze subset definiëren door bepaalde media (Media) en/of data (Date) te selecteren. De standaard instelling voor media is All media. U selecteert media door deze aan te vinken in het drop-down menu dat verschijnt als u op All media klikt. De standaard instelling voor de periode is All Dates. U selecteert een periode door in het drop down menu Is, Between, From of Before te selecteren en de gewenste data aan te klikken. U kunt bijvoorbeeld media selecteren met een verschillend profiel en een vergelijking maken tussen de aandacht voor concepten, trends en patronen in deze media. U kunt bijvoorbeeld een vergelijking maken tussen de kwaliteitskrant NRC Handelsblad en de populaire krant De Telegraaf in de mate van personalisering, de aandacht voor individuele politici ten opzichte van politieke instituties. Tevens kunt u een periode selecteren waarvan u weet dat er een relevante gebeurtenis, zoals een verkiezing, een natuurramp of een aanslag, heeft plaatsgevonden. U kunt beginnen met een exploratie van de aandacht voor uw concepten gedurende de gehele periode. Als u vast heeft gesteld in welke periode er een verschuiving plaatsvindt in de aandacht voor uw concepten of als u een aandachtspiek vindt, kunt u de periode verkleinen om een gedetailleerder beeld te verkrijgen van de aandachtsverschuiving of de aandachtspiek. Het is in AmCAT eenvoudig om deze selectie van artikelen (dus artikelen over een bepaald onderwerp binnen een specifieke periode in een aantal geselecteerde media) op te slaan als aparte articleset. Dit doet u door na een zoekopdracht, de aanvullende optie Save as set te kiezen. Zie hiervoor pagina Save as Set op pagina Functies Query De Query kent meerdere zoekfuncties. De belangrijkste functies worden in dit hoofdstuk toegelicht. Het eerste gedeelte bevat een opsomming van drie zoekfuncties: Summary, Article List en Show Graph/Table. In het tweede gedeelte wordt uiteengezet hoe deze verschillende functies ingezet kunnen worden om verschillende soorten hypotheses te testen Summary Deze functie geeft u de mogelijkheid om alle artikelen waarin de door u opgegeven zoektermen voorkomen weer te geven. Onder Summary staat het totale

10 10 Inhoudsanalyse met AmCAT Figuur 1.2: De zoekterm Rutte in de artikeltekst aantal documenten waarin één of meerdere van de door u opgegeven zoektermen worden genoemd. Dit wordt gevolgd door een lijst van al deze documenten, onder Articles. Van elk van deze documenten ziet u de titel, de datum, het aantal woorden, het medium, indien bekend de sectie van het medium waarin het artikel is verschenen en de auteur, en ten slotte een stuk van de tekst waarin één of meerdere zoektermen zijn gevonden. De zoektermen zijn hierin rood gekleurd. Tevens staat er rechts in beeld (Aggregated data) een grafiek met daarin de ontwikkeling over tijd van het aantal documenten waarin één of meerdere zoektermen genoemd worden. De tabel onder Mediums geeft dit aantal documenten weer per medium. Als u op de titel van een van de artikelen in de Articles lijst klikt krijgt u de gehele tekst en enkele aanvullende metagegevens te zien. Deze functie is een handig middel om een eerste indruk te krijgen van de inhoud van het debat rond uw concepten in de onderzochte documenten. De Summary functie kan ook gebruikt worden om de validiteit en betrouwbaarheid van de geformuleerde zoektermen te controleren. Hierover leest u meer in hoofdstuk 3. Aanvullende opties De Summary functie kent vijf extra mogelijkheden: Assign as codingjob, Export Articles, ClusterMap, Associations en Save as Set. Deze vijf opties geven u de

11 1.3 Functies Query 11 Figuur 1.3: Venn diagram met de overlap tussen Rutte en Balkenende mogelijkheid om de lijst met artikelen waarin de door u opgegeven zoektermen voorkomen verder te analyseren. Assign as codingjob Als u Assign as codingjob aanklikt slaat AmCAT de documenten die gevonden zijn door uw zoekopdracht op als nieuwe articleset en maakt daarvan tegelijkertijd een codingjob. Hiervoor moet u de gewenste codingschemas en een codeur aan de codingjob toewijzen. Show Cluster map De functie Show Cluster Map geeft u de mogelijkheid om een venn diagram te construeren. Met een venn diagram kunt u de overlap tussen verschillende verzamelingen weergeven. Om een venn diagram te maken moet u minstens twee zoektermen opgeven. Een venn diagram is een handig hulpmiddel om de mate waarin verschillende concepten met elkaar worden geassocieerd grafisch weer te geven. In andere woorden, met behulp van de venn diagram kunt u associative frames grafisch weergeven. Kies Show in navigator voor de grafische weergave van het venn diagram in AmCAT zelf. U krijgt een venn diagram te zien met geheel of gedeeltelijk overlappende deelverzamelingen. Bij kleinere aantallen artikelen worden bol-

12 12 Inhoudsanalyse met AmCAT Figuur 1.4: Query scherm met Associations optie Figuur 1.5: Associatietabel met de associatie tussen de VVD en de PvdA letjes weergegeven binnen een deelverzameling. Als u op één van deze bolletjes klikt krijgt een artikel uit deze deelverzameling te zien. De figuur 1.3 toont een voorbeeld van een venn diagram waarin de overlap tussen de aandacht voor de VVD, de PvdA en bezuingingen in Nederlandse media tijdens de campagne voor de Tweede Kamerverkiezingen in 2011 wordt weergegeven. Wanneer u een van de andere formaten (.csv, Excel of SPSS) als output kiest kunt u de kwantitatieve gegevens waarop de venn diagram gebaseerd is opslaan in csv-formaat, waarna u dit bestand kunt openen en bewerken in een ander programma. Het csv-bestand bevat een datamatrix waarin per combinatie van de door u ingevoerde zoektermen wordt weergegeven hoe vaak deze combinatie voorkomt. Show associations De Associations functie is vergelijkbaar met de ClusterMap functie. Het belangrijkste verschil is dat u met Associations de mate van overlap tussen verschillende concepten kunt kwantificeren. De figuur 1.5 toont een voorbeeld van een associatietabel. U kunt op verschillende manieren de mate van associatie tussen verschillende concepten weergeven. U kunt kiezen uit drie weergavemogelijkheden: Table, List en Network graph. Met de Table functie kunt u een tabel produceren waarin per combinatie

13 1.3 Functies Query 13 Figuur 1.6: Associatie tussen de VVD en de PvdA weergegeven als list Figuur 1.7: Associatienetwerk met de associatie tussen de VVD en de PvdA van de door u opgegeven zoektermen wordt weergegeven wat de kans is dat u deze zoekterm B tegenkomt in een tekst wanneer de andere zoekterm A wordt genoemd. Zoekterm A, oftewel de conditie, staat in de rijen. Zoekterm B staat in de kolommen. De functie List levert een zelfde soort tabel op, alleen hier staat in woorden gespecificeerd welke zoekterm de conditie vormt. Oftewel, from Samsom to Rutte wil zeggen, de kans dat Samsom voorkomt in een document waarin ook Rutte genoemd wordt; from Rutte to Samsom is de kans dat Rutte voorkomt in een document waarin het ook over Rutte gaat. Network graph tenslotte geeft de associatie tussen twee zoektermen grafisch weer in de vorm van een netwerk. Elke zoekterm is een node in het netwerk; associaties from zoekterm A to zoekterm B worden weergegeven in de vorm van pijlen. Vink Graph:include association in label aan om de sterkte van de associatie weer te geven bij elke pijl in het netwerk. Met threshold kunt u een minimale sterkte voor de associatie opgeven; zwakkere associaties worden niet als pijl in het netwerk weergegeven. Save as Set Met de functie Save as Set kunt u de zoekresultaten opslaan als articleset in AmCAT. U kunt een nieuwe articleset maken van de zoekresultaten,

14 14 Inhoudsanalyse met AmCAT Figuur 1.8: Een selectie van artikelen opslaan als articleset deze geeft u een naam in het veld Setname. Op deze manier kunt u gemakkelijk uw eigen populatie en/of steekproef van artikelen bewaren in AmCAT, zonder steeds opnieuw te hoeven zoeken naar relevante artikelen. Wanneer u de zoekresultaten aan een bestaande articleset wilt toevoegen dan selecteert u deze onder Existingset Article List De optie Article List geeft u de mogelijkheid om de zoekresultaten als lijst weer te geven. Er zijn twee weergaveopties voor deze lijst (te selecteren onder Output As): List with Snippets en Table. List with Snippets is een zelfde soort lijst als de lijst onder Articles onder de functie Summary, met de kop van het document, een aantal metadata en een stuk van de tekst met daarin de zoektermen weergegeven in het rood. Table geeft de zoekresultaten weer in tabelvorm, met kolommen voor de verschillende metadata (datum, medium, lengte enz.). Bij Columns kunt u selecteren welke metadata u in uw tabel wilt opnemen. Net als bij Summary kunt u ook hier de zoekresulaten toewijzen als codingjob of opslaan als nieuwe articleset, ze exporteren of verder analyseren met ClusterMap of Associations. Download results Download results exporteert de tabel van gevonden documenten als.csv of JSON-bestand.

15 1.3 Functies Query 15 Figuur 1.9: Tabel met de aandacht voor Balkenende en Rutte in het aantal artikelen per medium Graph/Table Met de Graph/Table optie kunt u een tabel of een grafiek maken van de resultaten van uw zoekopdracht. Eerst specificeert u bij X axis en Y axis hoe u de data voor uw kruistabel of grafiek wilt weergeven. Opties voor de X-as zijn per medium of per tijdsinterval, voor de Y-as kunt u kiezen uit medium, totaal of per zoekterm (de combinatie van medium op de X-as en medium op de Y-as is niet mogelijk). Bij Date interval kunt u het tijdsinterval verder specificeren: per dag, per week, per maand, per kwartaal of per jaar. Bij Value selecteert u of u de zoekresultaten in het aantal documenten (Number of Articles) of het aantal keren dat uw zoekterm voorkomt (Number of Hits) wilt weergeven. Een lang artikel waarin een zoekterm drie maal voorkomt telt als 1 wanneer u Number of Articles kiest en als 3 wanneer u Number of Hits selecteert. Tenslotte kunt u bij Output type kiezen of u een tabel of een grafiek wilt produceren. Om een frequentielijst of kruistabel te produceren selecteert u de gewenste weergavemodus (table, onder Output type), het gewenste interval (Date interval) en de gewenste eenheid (Value). Selectie van Medium of Date op de X-as en Total op de Y-as resulteert bijvoorbeeld in een frequentietabel: een overzicht van in hoe veel artikelen de zoektermen genoemd worden per, respectievelijk, medium of interval. Zoals gezegd kunt u bij Date interval het tijdsinterval selecteren. Dit zal afhankelijk zijn van de lengte van de tijdsperiode die u onderzoekt en het gewenste detail; via Value kunt u wisselen tussen het aantal artikelen waarin en het aantal keer dat de zoektermen gevonden worden. Een ander voorbeeld: selectie van de optie Date voor de X-as en Medium voor de Y-as resulteert in een kruistabel met de door u gekozen tijdseenheden in de rijen en de verschillende media als kolommen. Zo zijn er nog meer mogelijkheden. De keuze van variabele op de X-as, variabele op de Y-as en de Value zal afhangen van wat u precies wilt analyseren. Wanneer u in het veld Output type kiest voor een grafiek in plaats van een tabel, dan zal AmCAT dezelfde gegevens grafisch weergeven. Analyses over tijd worden weergegeven als lijngrafiek, analyses per medium als staafdiagram. Het klikken op een datapunt in een grafiek produceert een lijst met gevonden documenten voor dat datapunt, in tabelvorm. Het klikken op een rij in deze tabel

16 16 Inhoudsanalyse met AmCAT Figuur 1.10: Grafiek van de media-aandacht voor Balkenende en Rutte over tijd produceert nog een pop-up, dit keer met de volledige tekst van het document in deze rij. Export Aggregation De Graph/Table functie heeft de aanvullende optie Export Aggregation. Deze optie geeft u de mogelijkheid om de door u geproduceerde frequentielijst of kruistabel op te slaan in csv-, Excel, SPSS of HTML formaat, waarna u dit bestand kunt openen en bewerken in een ander programma. Voor de grafieken worden net als bij ClusterMaps de gegevens waarop de grafiek gebaseerd is geëxporteerd, niet de grafiek zelf. 1.4 Hypothese toetsing Met behulp van inhoudsanalyse kunnen hypotheses worden getoetst. Voordat de inhoudsanalyse wordt uitgevoerd is het belangrijk om een heldere en concrete hypothese te formuleren. Met behulp van automatische inhoudsanalyse kunnen verschillende gevolgtrekkingen worden gedaan. emphextrapolaties zijn generalisaties met betrekking tot niet direct waargenomen gevallen. Er wordt gegeneraliseerd naar een bredere context op basis van de gemeten data. Voorbeelden van extrapolaties zijn trends, patronen en verschillen. Op basis van de trends, patronen en verschillen die we waarnemen binnen de verzameling van documenten die we daadwerkelijk analyseren, trekken we conclusies over soortgelijke documenten die we niet daadwerkelijk hebben onderzocht.

17 1.4 Hypothese toetsing 17 Figuur 1.11: Staafdiagram van de aandacht voor het CDA, de VVD en de PvdA in drie media Trends Een trend is een verband tussen de tijd en een gemeten waarde. Een trendhypothese stelt dat een gemeten waarde afhankelijk is van de tijd. De nulhypothese luidt dat het gemiddelde van de gemeten waarde gelijk blijft of slechts toevallig verschuift. AmCAT biedt vele mogelijkheden om een trend te analyseren. Met behulp van AmCAT kan een trend grafisch worden weergegeven, waarna voorlopige conclusies kunnen worden getrokken over de trends. Met behulp van de grafische weergave kan bijvoorbeeld getest worden of een trend linear of cyclisch is. Om een mogelijke trend weer te geven in een lijngrafiek gebruikt u de grafiekweergave in de Graph/Table functie. AmCAT biedt ook de mogelijkheid om data te produceren waarmee een formele test van de trendhypothese kan worden uitgevoerd. Een voorbeeld van een hypothese met betrekking tot een trend luidt als volgt: De media-aandacht voor de Islam is afgenomen in de periode van 2010 tot Figuur 1.12 toont de aandacht voor de Islam in het NRC in de periode van 1990 tot Deze grafiek is gemaakt met de Graph/Table functie. De zoekterm is als volgt geformuleerd: Islam#islam* moslim* koran imam burqa hoofddoek* moskee*. De lijngrafiek suggereert dat de media-aandacht voor de Islam inderdaad is afgenomen in de periode van 2010 tot 2012, hoewel er ook aandachtspieken te zien zijn. Pieken in een grafiek kunnen worden verklaard aan de hand van bepaalde gebeurtenissen. Om de pieken te verklaren moeten we dus op zoek naar gebeurtenissen die in verband worden gebracht met de Islam. Een goede methode om te achterhalen welke gebeurtenissen verband houden met een aandachtspiek is het lezen

18 18 Inhoudsanalyse met AmCAT Figuur 1.12: Aandacht voor de Islam over tijd van de onderliggende documenten of de titels van deze documenten. U kunt eenvoudig toegang tot een lijst met titels krijgen door op de piek te klikken. Vervolgens kunt u doorklikken naar de tekst van het document door op één van de titels te klikken. Als we naar figuur 1.12 kijken zien we dat de aandacht voor de Islam een piek heeft in mei Door naar de artikelen in deze periode te kijken zien we dat dit de periode is waarin Osama bin Laden vermoord was. We zien dus dat met name terrorisme gerelateerde gebeurtenissen de aandacht voor de Islam tijdelijk doen stijgen, ondanks de geleidelijke afname. De lijngrafiek geeft een eerste indruk van de aandacht voor de Islam over de tijd. Om de nulhypothese dat de gemiddelde aandacht voor de Islam gelijk blijft of slechts toevallig fluctueert te verwerpen kunnen we een formele statistische toets uitvoeren. Om de hypothese te testen produceert u eerst een tabel met de gemeten waarde per tijdseenheid. U produceert een dergelijke tabel door te kiezen voor een tabel in Graph/Table. Om de data te kunnen analyseren in een statistisch programma, zoals SPSS, exporteert u de gegevens uit AmCAT door in de Graph/Table functie op Export Aggregation te klikken. Het resulterende csv-, Excel of SPSS-bestand kunt u vervolgens openen in SPSS of een andere statistisch programma. Een exploratieve toets die u kunt uitvoeren om te testen of er daadwerkelijk sprake is van een trend is een correlatieberekening. In hoofdstuk 11 wordt uiteengezet hoe u een correlatie berekend Patronen Een patroon is een veel voorkomend tekstelement of een veel voorkomende combinatie van tekstelementen. Een associatiepatroon verwijst naar het veel-

19 1.4 Hypothese toetsing 19 Figuur 1.13: Tabel met de overlap tussen VVD, PvdA en bezuinigingen vuldig samen voorkomen van bepaalde concepten. Een associatiepatroon kan gemeten worden door op zoek te gaan naar co-occurentie van zoektermen binnen een bepaalde analyseenheid. AmCAT kan gebruikt worden om associatiepatronen grafisch weer te geven, maar ook om formele statistische tests met betrekking tot patronen uit te voeren. Met behulp van de ClusterMap kan een associatiepatroon grafisch worden weergegeven. De Associations functie kent een breed scala aan mogelijkheden om de mate van associatie tussen verschillende concepten te kwantificeren en vervolgens grafisch of in tabelvorm weer te geven. Een voorbeeld van een associatiepatroon-hypothese luidt als volgt: De liberale partij VVD wordt vaker met bezuinigingen geassocieerd dan de sociaal democratische partij PvdA. Eerder toonden we de associatie tussen bezuinigingen, de VVD en de PvdA in een venn diagram. Om een nauwkeuriger beeld te krijgen van de associatie tussen bezuinigingen en de VVD enerzijds en bezuinigingen en de PvdA anderzijds, slaan we de zoekresultaten op als Excelbestand. Op basis van deze gegevens kunnen we de associaties tussen bezuinigingen, de VVD en de PvdA vergelijken. Figuur 1.13 toont de associatietabel. In de rijen van de tabel wordt per combinatie van zoektermen weergegeven hoe vaak deze combinatie van zoektermen voorkomt in de dataset. Met een 0 wordt aangegeven dat een bepaalde zoekterm niet voorkomt in een document, terwijl met een 1 wordt weergegeven dat een bepaalde zoekterm wel voorkomt in dat document. In de eerste rij van figuur 1.13 zien we bijvoorbeeld dat de dataset 74 artikelen bevat waarin bezuinigingen en de PvdA worden genoemd, maar waarin de VVD niet wordt genoemd. Deze gegevens kunnen gebruikt worden om de mate van associatie te berekenen in andere programma s zoals Excel en SPSS. Op basis van de gegevens in deze tabel kunnen we bijvoorbeeld berekenen dat als het over bezuinigingen gaat (N=772) het in 28,2 procent ((74+144)/772) ook over de PvdA gaat en in 29,7 procent ((85+144)/772) ook over de VVD gaat. 25,2 procent van de artikelen over de VVD gaan ook over bezuinigingen. 18,0 procent van de artikelen over de PvdA gaat ook over de bezuinigingen.

20 20 Inhoudsanalyse met AmCAT Figuur 1.14: Tabel met de associatie tussen immigratie, pvv en vvd AmCAT biedt echter ook de mogelijkheid om associatiematen te berekenen en grafisch weer te geven binnen de Query omgeving. Daartoe gebruiken we de Associations functie onder Summary of Article List. De outputoptie Table binnen Associations laat een tabel zien waarin de associatie tussen de verschillende zoektermen wordt uitgedrukt. De tabel 1.14 toont de associatietabel voor de zoektermen vvd, pvv en immigr*.de tabel toont dat als immigratie wordt genoemd (tweede rij) de kans dat je ook over respectievelijk de PVV of de VVD leest en is. Om te toetsen of twee concepten significant vaker dan verwacht samen voorkomen kunnen we een chi 2 toets uitvoeren. Hiervoor willen we in SPSS de data hebben met per regel een artikel, en per kolom een zoekterm. Dit bereiken we door in AmCAT te kiezen voor een tabel binnen Article List, met als metadata Article ID, en Hits. Exporteer dit bestand met Export Articles, open het in SPSS en voer een chi 2 toets uit met de zoektermen als variabelen (zie hoofdstuk 8) Verschillen Tenslotte kan er geëxtrapoleerd worden op basis van geconstateerde verschillen tussen bepaalde eenheden. Er kan bijvoorbeeld een vergelijking worden gemaakt tussen de berichtgeving in verschillende media, tussen het debat in de politieke arena en in de media, tussen de aandacht voor een concept in periode A en periode B etc. Verschillen kunnen met AmCAT geanalyseerd worden met behulp van de Graph/Table functie, maar ook de Associations functie kent mogelijkheden om een vergelijking tussen media te maken. Tenslotte kunt u verschillen analyseren in SPSS gebaseerd op data die AmCAT in een handig formaat exporteert. Om te toetsen of in een bepaalde groep artikelen (bijvoorbeeld een periode of medium) een zoekterm significant vaker voorkomt dan in een andere groep, kunnen we ook een chi-2 toets uitvoeren. Ga hiervoor naar Article List, en maak een tabel met als metadata Article ID en Hits, die u exporteert via Download results rechtsonder de tabel. Open dit bestand in SPSS. Als u per krant wilt kijken kunt u direct een chi 2 toets uitvoeren met mediumid en uw zoekterm als variabelen (zie hoofdstuk 8). Als u per periode (of groep kranten) wilt kijken dan dient u eerst een nieuwe variabele aan te maken, bijvoorbeeld groep. Vul dan per artikel de juiste periode in, door het bestand te sorteren en handmatig in te vullen (als het niet teveel artikelen zijn), of met de SPSS commando s

21 1.4 Hypothese toetsing 21 recode of compute. Voer daarna een chi 2 toets uit met als variabelen groep en uw zoekterm. De drie extrapolatiemethoden trends, patronen en verschillen zijn hier afzonderlijk besproken. De voorbeeldhypotheses hebben slechts betrekking op één van deze extrapolatiemethoden. Vaak worden onderzoeksvragen en hypotheses pas echt interessant wanneer verschillende extrapolatiemethoden worden gecombineerd.

22 22 Inhoudsanalyse met AmCAT

23 HOOFDSTUK 2 Zoektermen formuleren In uw analyses bent u geïnteresseerd in concepten. Een tekst bevat echter woorden. Om de aandacht voor concepten te meten moet u zoektermen formuleren waarmee u de aandacht voor uw concepten kunt meten. U beschrijft met een zoekterm een concept in termen van woorden. Dit hoofdstuk omschrijft hoe u goede zoektermen kunt formuleren. U kunt uw zoektermen optimaliseren door te zoeken op synoniemen, door zogenaamde wildcards te gebruiken, door condities in uw zoekterm op te nemen en door op frases in plaats van losse woorden te zoeken. Een goede zoekterm resulteert in alle artikelen waarin een bepaald concept voorkomt zonder dat er irrelevante artikelen bij staan. Zie voor een volledig overzicht van de regels voor het formuleren van correcte zoektermen de knop Search Syntax Help die in u in de rechterbovenhoek van het Query scherm vindt. AmCAT houdt geen rekening met hoofdletters en accenten: door te zoeken op rutte zult u ook artikelen met daarin het woord Rutte vinden; tunesie vindt ook het woord Tunesië etc cetera. 2.1 Booleaans zoeken AmCAT biedt de mogelijkheid om booleaans te zoeken. Met booleaans zoeken kunt u zoektermen combineren met behulp van de booleaanse operatoren OR, AND en NOT te gebruiken. Met behulp van OR kunt u uw zoekterm verbreden. OR is de standaard instelling. De zoekterm premier#premier "minister-president" rutte kan dus gelezen worden als premier#premier OR "minister-president" OR rutte. Met behulp van AND en NOT kunt uw zoekopdracht vernauwen; met deze operatoren kunt u restricties aanbrengen. U kunt bijvoorbeeld aangeven dat u wilt zoeken naar 23

24 24 Zoektermen formuleren verwijzingen naar premier Rutte, maar niet naar verwijzingen naar kabinet Rutte: premier rutte#rutte NOT "kabinet rutte". U kunt bijvoorbeeld ook aangeven dat u wilt zoeken naar Wilders, maar dat u alleen geïnteresseerd bent in aandacht voor Wilders in de context van het immigratiedebat: wilders immigratie#wilders and immigr*. Als u verschillende booleaanse operatoren in uw zoekopdracht gebruikt dan moet u met het gebruik van haakjes aangeven welke termen verbonden worden met de booleaanse operatoren. De logica is vergelijkbaar met wiskundige logica. Als u binnen een rekenkundige formule getallen wilt vermenigvuldigen en delen dan moet u aangeven welke functie prioriteit heeft. Met het gebruik van haakjes in uw zoekterm vertelt u de computer welke combinaties van zoektermen prioriteit hebben. Stel dat u geïnteresseerd bent in demonstraties in Tunesië en Egypte. U wilt dan zoeken naar het woord demonstratie in combinatie met ofwel het woord Tunesië ofwel het woord Egypte. Gebruik voor zoektermen (zoals Tunesië) nooit trema s of hoofdletters: De correcte zoekterm is demonstratie* AND (tunesie OR egypte). Hierbij kan OR achterwege worden gelaten, omdat het de standaard instelling is. AmCAT zoekt naar teksten waarin 1) Tunesië óf Egypte wordt genoemd én 2) waarin het woord demonstratie wordt genoemd. Als u de haakjes op een andere plaats zou zetten, dan zou dit wezenlijk andere zoekresultaten opleveren. Als u bijvoorbeeld de zoekterm (demonstratie* AND tunesie) OR egypte zou invoeren, dan zoekt AmCAT naar teksten waarin 1) het woord demonstratie én het woord Tunesie wordt genoemd óf 2) waarin het woord Egypte wordt genoemd. De tweede zoekterm levert dus ook teksten op waarin Egypte wordt genoemd zonder verwijzing naar het woord demonstratie. 2.2 Synoniemen De eerste stap bij het formuleren van goede zoektermen is het toevoegen van synoniemen. Vaak kent een taal meerdere woorden om een concept uit te drukken. Inflatie en geldontwaarding, premier en Rutte, en PVV en Partij voor de Vrijheid verwijzen bijvoorbeeld naar dezelfde concepten. Als u geïnteresseerd bent in de aandacht voor de premier, dan zou u veel verwijzingen naar de premier missen wanneer u alleen op het woord premier zou zoeken. U kunt uw zoekterm verbeteren door synoniemen voor het woord premier op te nemen, zoals Minister-President. Tevens kan er in een tekst verwezen worden naar de premier door hem bij naam te noemen. Daarom is het aan te raden om ook de naam van de huidige premier toe te voegen. Een betere zoekterm voor de aandacht voor de premier in Nederlands nieuws in 2011 is daarom premier "minister-president" rutte. Stel dat u de aandacht voor premier Balkenende wilt meten. De onderstaande tabel laat de aandacht zien voor de afzonderlijke woorden premier, Minister-President en Balkenende en voor de zoekterm premier "ministerpresident" Balkenende zien. De tabel 2.1 laat zien dat er veel meer resultaten worden gevonden met de zoekterm waarin synoniemen zijn opgenomen. Het is

25 2.3 Wildcards 25 Figuur 2.1: Zoeken met behulp van synoniemen dus erg belangrijk is om te zoeken naar synoniemen. Er zijn verschillende manieren om synoniemen te vinden. U kunt gebruik maken van uw eigen taalkundige kennis of een (online) woordenboek raadplegen. U kunt echter ook gebruik maken van AmCAT om synoniemen te vinden. Met de Summary functie kunt u een lijst met documenten genereren waarin uw zoekterm voorkomt. U kunt bijvoorbeeld zoeken op het woord Minister- President. Vervolgens kunt u een aantal artikelen waarin het woord Minister- President wordt genoemd doorlezen op zoek naar synoniemen. 2.3 Wildcards Veel synoniemen lijken veel op elkaar. De enkelvouds- en de meervoudsvormen van een zelfstandig naamwoord verwijzen doorgaans bijvoorbeeld naar hetzelfde concept. Om uw zoekterm zo kort mogelijk te houden kunt u daarom gebruik maken van wildcards. Wildcards zijn tekens die bij het zoeken door de computer vervangen mogen worden door ieder willekeurig karakter. In AmCAT kunt u gebuik maken van twee verschillende wildcards:? en *. Het vraagteken vervangt één enkel karakter. De asterisk vervangt meerdere karakters. Beide wildcards mogen zowel binnen een woord als aan het eind van een woord worden gebruikt, maar niet aan het begin van een woord. Het is toegestaan om meerdere wildcards binnen één woord te gebruiken. Als u bijvoorbeeld naar het concept onderwijzers wilt zoeken formuleert u de zoekterm onderwijzer?. Deze zoekterm resulteert in zoekresultaten voor zowel het woord onderwijzer als het woord onderwijzers, maar niet voor het woord onderwijzersbond. Als u wilt zoeken naar aandacht voor reïntegratie formuleert u de zoekterm reintegr*. Deze zoekterm resulteert in zoekresultaten voor alle woorden die beginnen met de lettercombinatie reintegr, zoals reintegratie, reintegeren, reintegratiebureau, reintegratiedebat etc.

26 26 Zoektermen formuleren 2.4 Homoniemen Homoniemen zijn woorden met meerdere betekenissen. In de Nederlandse taal kunt u denken aan woorden als bank en erg. Het komt ook voor dat een woord wel een eenduidige betekenis heeft, maar in verschillende contexten toch uiteenlopende associaties oproept, zoals migratie van vogels en van mensen. Tenslotte verwijzen sommige namen van politici en andere actoren naar bijvoeglijke of zelfstandige naamwoorden. De achternaam van ex-pvda lijsttrekker Wouter Bos verwijst bijvoorbeeld ook naar een zelfstandig naamwoord. Met behulp van de booleaanse operatoren AND en NOT kan de zoekterm worden vernauwd, waarmee voorkomen wordt dat verwijzingen naar het zelfstandige naamwoord bos ten onrechte meegeteld worden. De zoekterm ziet er als volgt uit: bos AND... of eventueel bos AND... (NOT...). Een voorbeeld van een zoekterm die gebruikt kan worden om teksten over Wouter Bos te onderscheiden van artikelen over bossen: bos AND (lijsttrekker* partijleider* minister staatssecretaris pvda wouter). Soms is het noodzakelijk of eenvoudiger om een zoekterm te vernauwen door bepaalde woorden uit te sluiten met behulp van de Booleaanse operator NOT. Als u bijvoorbeeld geïnteresseerd bent in de aandacht voor Minister-President Rutte als politicus is het noodzakelijk om aandacht voor zijn kabinet, kabinet Rutte, uit te sluiten. U kunt daartoe de volgende zoekterm gebruiken: rutte NOT "kabinet rutte". 2.5 Frases Met behulp van aanhalingstekens kan gevraagd worden om een bepaalde frase, dat wil zeggen een combinatie van aaneengesloten woorden. Als u bijvoorbeeld de aandacht voor het ministerie van Buitenlandse Zaken dan is het nodig om deze frase tussen aanhalingstekens te plaatsen: "ministerie van buitenlandse zaken". Als u geen aanhalingstekens zou gebruiken dan zou AmCAT zoeken naar artikelen waarin het woord ministerie, het woord van, het woord buitenlandse of het woord zaken wordt genoemd. Soms wilt u zoeken naar twee woorden die samen één concept meten, maar die niet altijd in exact dezelfde volgorde worden gebruikt. Stel dat u op zoek bent naar de aandacht voor christelijke politici. U wilt dan zoeken naar referenties naar politici en referenties naar christelijk. Om te voorkomen dat uw zoekresultaten resultaten bevatten waarin beide woorden worden genoemd, maar niet bij elkaar in de buurt staan en dus niet als één concept gelden, kunt u de range waarbinnen beide woorden moeten voorkomen aangeven. U doet dit als volgt "term A term B"~N, waarbij N verwijst naar de range van woorden waarbinnen de combinatie zich moet bevinden. U kunt bijvoorbeeld zoeken op "christelijk* politic*"~5. Dit resulteert in alle artikelen waarin naar christelijk* en politic* verwezen wordt binnen een range van 5 woorden. U kunt met deze zoekmethode ook zoeken naar co-occurenties van term A en

27 2.6 Controle zoektermen 27 term B en haar synoniemen. Dit doet u door de volgende zoekstructuur toe te passen: "(term A OR synoniem A1 OR synoniem A2) (term B OR synoniem B1)"~5. Toegepast op het bovenstaande voorbeeld levert dit de volgende zoekterm op: "(christelijk* OR protestant* OR katholiek* OR gereformeerd* OR christenunie OR sgp) (politic* OR kamerl* OR minister* OR staatssecretaris* OR premier* OR senator* OR parlementarier*)"~ Controle zoektermen Het is belangrijk om goed te controleren of u met uw zoekterm daadwerkelijk meet wat u beoogt te meten. De eerste vraag is of de geformuleerde zoekterm alleen zoekresultaten oplevert die betrekking hebben op het gezochte concept. U kunt uw zoekterm controleren met behulp van de Summary functie in de Query. Als u uw zoekterm invoert in het Keyword Search String(s) veld en de optie Summary selecteert krijgt u een lijst te zien met artikelen waarin uw zoekterm voorkomt. Onder de kop van elk artikel staat een paar regels artikeltekst met daarin de woorden die in de zoekterm voorkomen rood gemarkeerd. Op deze manier kunt u controleren of uw zoekterm scherp genoeg is geformuleerd. Figuur 2.2 toont een voorbeeld van de zoekresultaten van een opdracht om te zoeken naar Balkenende. Stel dat we de aandacht voor de politicus Jan Peter Balkenende willen meten. Deze resultaten tonen dat zoeken op het woord Balkenende geen goede zoekterm is. De context waarin het woord Balkenende op de eerste regel toont dat zoeken op het woord Balkenende ook resultaten oplevert waarin verwezen wordt naar kabinet Balkenende in plaats van naar de politicus Jan Peter Balkenende. Tenslotte kunt u uw zoektermen ook controleren met behulp van de ClusterMap functie, die verschijnt nadat u zoekt met de Summary functie. U doet dat door de termen die volgens u hetzelfde concept meten (en de termen die u uit wilt sluiten) ieder op een afzonderlijke regel in te voeren. Als u bijvoorbeeld de aandacht voor de premier wilt meten met de zoekterm premier#premier "ministerpresident" (balkenende NOT "kabinet Balkenende") dan voert u premier, "ministerpresident", balkenende en "kabinet balkenende" op vier afzonderlijke regels in in het Keyword Search String(s) veld. Als het goed is komen premier, ministerpresident en kabinet Balkenende dan behoorlijk vaak samen voor. U wilt hier drie dingen controleren: (1) Gaan de artikelen waarin slechts één van die zoektermen voorkomt echt over het onderwerp? Controleer of de artikelen waarin alleen premier of minister-president voorkomt en de overige termen niet wel echt over de premier gaan. (2) Gaan de artikelen waar Balkenende maar niet kabinet Balkenende voorkomt echt over de premier? en (3) gaan de artikelen waarin kabinet Balkenende voorkomt en niet één van de andere termen (premier, minister president) inderdaad niet over de premier? Als dat wel het geval is dan gooit de uitsluiting NOT "kabinet Balkenende" kennelijk toch ook relevante artikelen weg. Op deze manier kunt u een goed beeld krijgen van de kwaliteit van de booleaanse query. De figuur 2.3 toont het venn diagram bij dit voorbeeld.

28 28 Zoektermen formuleren Figuur 2.2: Keyword-in-context resultaten voor Balkenende

29 2.6 Controle zoektermen 29 Figuur 2.3: Venn diagram zoektermen Balkenende

30 30 Zoektermen formuleren 2.7 Overzicht AmCAT Keyword Search operatoren Met OR zoekt u naar de ene zoekterm of de andere: Balkenende OR premier. OR is echter de standaard in de Lucene syntax, waar de zoekfunctie in AmCAT gebruik van maakt. Balkenende OR premier levert hetzelfde resultaat op als Balkenende premier. Dus u kunt OR achterwege laten. Met AND zoekt u naar het tegelijk voorkomen van twee zoektermen in één document: Bos AND PvdA. Met NOT zoekt u naar zoektermen waarbij de tweede zoekterm niet mag voorkomen in het document. Bijvoorbeeld: Prodi NOT (Italie OR Italiaans? ), waarbij we zoeken naar de voorzitter van de EU en niet naar Prodi in functie in de Italiaanse politiek. ~30 Zoekt naar zoektermen die 30 (of een ander aantal) of minder woorden van elkaar verwijderd zijn. Bijvoorbeeld: "Bos lijsttrekker"~30. Het is ook mogelijk om tegelijk te zoeken naar waar Bos voorkomt in combinatie met andere zoektermen: "bos (lijsttrekker OR kamer* OR pvda OR parlement*)"~30. * Ieder woord mag worden gevolgd door een *. Hierdoor wordt elke extensie van dat woord meegeteld (partij* omvat partij, partijleden, partijbons, partijvoorzitter, etc.). De asterisk mag ook binnen het woord worden geplaatst, maar niet als eerste teken.? Binnen of na elk woord mag een? worden geplaatst. Er wordt dan gezocht naar elke variant van dat woord met op de plaats van het vraagteken 1 ander teken. Er mogen meerdere vraagtekens in een woord worden geplaatst. "..." Plaats zoektermen die uit meerdere woorden bestaan tussen quotes: "ministerie van algemene zaken". Let op: voeg de quotes in het zoekvenster van AmCAT in (of kopieer ze van daar), quotes uit ingevoegd in Word wijken iets af en werken niet. (...) Met haakjes geeft u aan aan welke combinatie van zoektermen Am- CAT prioriteit moet geven. Met behulp van haakjes geeft u bijvoorbeeld aan of AmCAT moet zoeken naar (zoekterm A AND zoekterm B) OR zoekterm C of naar zoekterm A AND (zoekterm B OR zoekterm C). In het eerste geval moet ofwel een combinatie van zoekterm A en B ofwel zoekterm C voorkomen. In het tweede geval moet zoekterm A in ieder geval voorkomen. Daarnaast moet zoekterm B of C worden genoemd. Als u verschillende booleaanse operatoren (AND, OR, NOT) gebruikt moet u altijd haakjes gebruiken. Daarbij moet u er rekening mee houden dat de standaardinstelling OR is. Ook als u OR impliciet opneemt in uw zoekterm in combinatie met AND of NOT moet u dus haakjes gebruiken.

31 HOOFDSTUK 3 Berekening van de betrouwbaarheid van zoektermen De kwaliteit van geautomatiseerde inhoudsanalyse is afhankelijk van de kwaliteit van uw zoektermen. De kwaliteit van uw zoektermen wordt bepaald door de betrouwbaarheid van de zoektermen. In dit hoofdstuk wordt uiteengezet hoe u de betrouwbaarheid van uw zoektermen kunt testen. Wanneer we spreken over de betrouwbaarheid van een onderzoek dan spreken we over de vraag of onderzoek repliceerbaar is. Andere onderzoekers zouden met uw omschrijving van de door u gehanteerde methode uw onderzoek moeten kunnen repliceren en tot dezelfde onderzoeksresultaten moeten komen. De door u gehanteerde methode moet naast betrouwbaar, ook valide zijn. Validiteit verwijst naar de vraag of u daadwerkelijk meet wat u beoogt te meten. Onbetrouwbare zoektermen leiden per definitie tot invalide onderzoeksresultaten. Er bestaat echter ook een zekere spanning tussen betrouwbaarheid en validiteit. Geautomatiseerde inhoudsanalyse leidt tot resultaten met een hoge betrouwbaarheid, omdat verschillende computers met identieke instructies dezelfde onderzoeksresultaten zullen genereren. Een computer herkent echter alleen woorden, geen concepten, waardoor de validiteit doorgaans lager is dan met manuele inhoudsanalyse. Menselijke codeurs zullen met identieke instructies niet altijd tot dezelfde resultaten komen. Menselijke codeurs worden immers beïnvloed door hun persoonlijke denkbeelden en hun culturele achtergronden. Hierdoor is de betrouwbaarheid van de resultaten van manuele inhoudsanalyse doorgaans lager dan de betrouwbaarheid van de resultaten van geautomatiseerde inhoudsanalyse. Menselijke codeurs zijn echter wel in staat om concepten te herkennen, wat de validiteit van onderzoeksresultaten bevordert. Een belangrijk onderscheid met betrekking tot de betrouwbaarheid van inhoudsanalyse is het onderscheid tussen precision en recall. 31

32 32 Berekening van de betrouwbaarheid van zoektermen Precision verwijst naar de vraag of de gevonden resultaten terecht herkend zijn als positieve zoekresultaten, oftewel teksten die het door u gezochte concept bevatten. Zogenaamde type 1 fouten verkleinen de precision. Een type 1 fout is een ten onrechte als positief aangeduid zoekresultaat. Recall verwijst naar de vraag of alle resultaten die uw concept meten daadwerkelijk gevonden zijn. Type 2 fouten verkleinen de recall. Een type 2 fout is een ten onrechte als negatief aangeduid zoekresultaat. Er bestaat spanning tussen precision en recall. Wanneer de precision van uw zoekterm hoog is, is de recall doorgaans lager, en vice versa. Deze spanning kunnen we illustreren aan de hand van een voorbeeld. Stel dat we de aandacht voor de politicus Wouter Bos willen meten. Als we uitsluitend op zijn achternaam zouden zoeken met de zoekterm bos dan zou de recall hoog zijn. Er wordt waarschijnlijk weinig naar zijn persoon verwezen in bewoordingen die niet de term bos bevatten. De precision van deze zoekterm is echter laag. De term bos verwijst immers ook naar het zelfstandig naamwoord bos en bovendien is bos een veel voorkomende naam die ook naar andere prominenten kan verwijzen. Als we echter een nauwe zoekterm zouden gebruiken zoals minister Bos dan zou de precision hoog zijn, maar de recall laag. De gevonden resultaten zullen zonder twijfel naar de politicus Wouter Bos verwijzen. Met de zoekterm minister Bos worden echter alle resultaten waarin in andere bewoordingen naar Wouter Bos wordt verwezen, zoals Wouter Bos, PvdA lijsttrekker Bos, of simpelweg bos, gemist. De onderzoeker moet daarom een balans vinden tussen concessies met betrekking tot precision en concessies met betrekking tot recall. 3.1 Face validity Voordat u de precision en recall van uw zoektermen berekent, is het belangrijk om de face validity van de zoektermen en de resultaten te controleren. U kunt de face validity van uw zoektermen controleren door de zoekresultaten te bekijken. U kunt dat doen door de documenten waarin uw zoektermen worden gevonden te lezen en te beoordelen of uw zoekresultaten op het eerste gezicht inderdaad de concepten bevatten die u wilt meten. AmCAT biedt verschillende mogelijkheden om de documenten die ten grondslag liggen aan uw zoekresultaten te openen. Met behulp van de Show Summary functie kan een lijst van documenten waarin de gevraagde zoekterm genoemd wordt worden verkregen. Als u op een titel in de lijst klikt, krijgt u toegang tot het artikel. Uw zoekterm wordt vetgedrukt. Als u met behulp van de Show Graph functie een lijngrafiek gemaakt hebt, kunt u op een willekeurig punt op de lijn klikken om toegang te krijgen tot een lijst van relevante artikelen. Ook hier kan weer doorgeklikt worden naar de tekst van de documenten door op een titel te klikken.

33 3.2 Betrouwbaarheid 33 Als u een Venn diagram hebt gemaakt met behulp van de Show Cluster Map functie, dan kunt u op een van de bolletjes in het Venn diagram klikken om toegang te krijgen tot een artikel in deze deelverzameling. Als een deelverzameling uit een groot aantal artikelen bestaat wordt alleen het aantal artikelen weergegeven en verschijnen er geen bolletjes. U kunt uw zoekopdracht specificeren door bepaalde media of een bepaalde periode te selecteren, zodat de deelverzameling kleiner wordt en er wel bolletjes verschijnen. Een tweede manier om de face validity van uw zoektermen controleren is door bedacht te zijn op gekke uitkomsten. Zijn er aandachtspieken die u niet kunt verklaren? Zijn er veel minder zoekresultaten dan u op basis van uw kennis over bepaalde events zou verwachten? De beantwoording van dergelijke vragen en het lezen van de teksten met uw zoekresultaten geven u een eerste indruk van de validiteit van uw zoektermen. Er zijn echter ook meer formele testen om de betrouwbaarheid van uw zoektermen te meten. 3.2 Betrouwbaarheid De door u geformuleerde zoektermen resulteren in een verzameling gevonden zoekresultaten. Met uw zoektermen bent u op zoek naar een verzameling van onbekende doelteksten, de teksten waarin uw concepten worden genoemd. De verzameling van werkelijke zoekresultaten verwijst naar deze verzameling van correcte zoekresultaten, een verzameling die uitsluitend bestaat uit alle verwijzingen naar uw concept. Als u uw zoektermen correct hebt geformuleerd dan meet u met deze zoektermen de aanwezigheid van de concepten die u wilt onderzoeken in een tekst. In dat geval overlappen de verzameling gevonden zoekresultaten en de verzameling van doelartikelen, oftewel de werkelijke zoekresultaten, elkaar volledig. Incorrect of onvolledig geformuleerde zoektermen kunnen echter resulteren in gevonden zoekresultaten die afwijken van de werkelijke zoekresultaten. 3.1 toont de overlap tussen een verzameling van gevonden zoekresultaten en een verzameling werkelijke zoekresultaten. Het gebied waar de verzameling van gevonden en werkelijke zoekresultaten elkaar overlappen, aangeduid met TP (terecht positief), bevat de correcte zoekresultaten. Het gebied aangeduid met TN (terecht negatief) verwijst naar het gebied dat zowel buiten de verzameling van gevonden zoekresultaten als buiten het gebied van werkelijke zoekresultaten ligt. Dit zijn terecht niet gevonden zoekresultaten. De twee overige gebieden bevatten incorrecte resultaten. Het gebied aangeduid met OP (onterecht positief) verwijst naar teksten die wel gevonden zijn, maar die geen werkelijke zoekresultaten bevatten. Dit noemen we een type 1 fout. Het gebied aangeduid met ON (onterecht negatief) verwijst naar artikelen die wel tot de werkelijke zoekresultaten behoren, maar die niet gevonden zijn. Dit noemen we een type 2 fout.

34 34 Berekening van de betrouwbaarheid van zoektermen Figuur 3.1: Overlap tussen gevonden en werkelijke zoekresultaten 3.3 Precision Precision verwijst naar de mate waarin uw zoekresultaten daadwerkelijk het concept dat u wilt meten bevatten. Het gaat om de vraag of met uw zoekterm uitsluitend het beoogde concept wordt gemeten of dat de zoekterm ook irrelevante zoekresultaten oplevert. Bijvoorbeeld, wanneer u wilt zoeken naar artikelen over de oud-politicus Wouter Bos aan de hand van de zoekterm bos, en u vindt daarmee ook artikelen over het bos, dan zijn deze laatste artikelen irrelevante zoekresultaten. Echter, zowel de artikelen over Wouter Bos en de artikelen over bossen worden gevonden met de zoekterm bos, daarom noemen we beide positieve resultaten. De artikelen over Wouter Bos zijn terecht positief, want deze bevatten het concept waarnaar we willen zoeken (Wouter Bos). De artikelen waarin het over een bos gaat zijn onterecht positief; deze bevatten ons concept niet maar worden wel gevonden met de zoekterm. In andere woorden, precision verwijst naar het aantal terecht positieve resultaten ten opzichte van de totale verzameling van terechte en onterechte positieve resultaten. Figuur 3.2 geeft dit grafisch weer. Met een berekening van de precision van een zoekterm wordt nagegaan of een zoekterm correcte zoekresultaten oplevert. De precision van uw zoekterm wordt uitgedrukt in het percentage correcte zoekresultaten. De precision kan berekend worden door het aantal terecht positieve resultaten te delen door de som van de terecht en onterecht positieve resultaten. De vraag die hier op volgt is hoe het aantal terecht en onterecht positieve resultaten kan worden vastgesteld. De Query functie in AmCAT kan gebruikt worden om te beoorde-

35 3.4 Recall 35 Figuur 3.2: Precision len of gevonden resultaten terecht of onterecht positieve resultaten zijn. De eenvoudigste manier om te controleren of uw met uw zoektermen daadwerkelijk de beoogde concepten meet is door de zoekresultaten weer te geven in de context waarin ze worden gebruikt. Als u de Show Summary functie kiest krijgt u een lijst te zien met zoekresultaten en de context waarin de zoekterm voorkomt. Vervolgens kunt u de precision van uw zoekterm berekenen door voor een steekproef van een X aantal zoekresultaten te controleren of de zoekterm daadwerkelijk het beoogde concept meet of niet. U leest bijvoorbeeld de eerste 50 zoekresultaten en telt hoe vaak een zoekresultaat niet het beoogde concept meet en dus irrelevant is. Vervolgens kunt u de precision berekenen. Stel dat 13 van de 50 zoekresultaten in uw steekproef niet het beoogde concept meten. U berekent de precision dan door het aantal terecht positieve resultaten (50-13=37) te delen door de som van het aantal terecht en onterecht positieve resultaten, of eenvoudiger verwoord, het totale aantal zoekresultaten in uw steekproef (50). In dit voorbeeld is de precision van uw zoekterm (50-13)/50=0.74, oftewel 74 procent. 3.4 Recall De recall van uw zoekterm verwijst naar de mate waarin u erin slaagt om alle verwijzingen naar het beoogde concept te vinden met uw zoekterm. Om te zoeken naar Wouter Bos was de zoekterm bos wellicht niet nauwkeurig genoeg. De zoekterm "wouter bos" is preciezer - artikelen over "het bos"worden niet meer gevonden - maar deze nauwkeuriger zoekterm heeft het probleem dat niet alle verwijzingen in de tekst naar Wouter Bos gevonden zullen worden, bijvoorbeeld Bos (ex-pvda) of PvdA-lijsttrekker Bos. De artikelen die niet worden gevonden met de zoekterm noemen we negatieve zoekresultaten. Artikelen waarin

36 36 Berekening van de betrouwbaarheid van zoektermen Wouter Bos Bos (ex-pvda) of PvdA-lijsttrekker Bos wordt genoemd verwijzen wel naar het concept dat we willen meten maar worden met de zoekterm "wouter bos" niet gevonden, daarom noemen we deze onterecht negatief. De vraag die beantwoord moet worden bij de berekening van recall is de vraag of u verwijzingen naar uw concept in de tekst hebt gemist, oftewel wat het aandeel onterecht negatieve zoekresultaten is. Deze vraag is moeilijker te beantwoorden dan de vraag of uw zoekresultaten irrelevante resultaten bevat. De vraag heeft immers betrekking op datgene wat u niet hebt gemeten. De doelartikelen, de artikelen met alle artikelen waarin uw concept wordt genoemd, is onbekend. Figuur 3.2 geeft dit grafisch weer. Er zijn twee strategieën om de recall van uw zoekterm te bepalen. De eerste is gebaseerd op een formele berekening. U kunt de recall van uw zoekterm berekenen door het aantal terecht positieve resultaten te delen door de som van het aantal terecht positieve resultaten en het aantal onterecht negatieve resultaten. In de bovenstaande sectie 3.3 is reeds aangegeven hoe u het aantal terecht positieve resultaten kunt bepalen. De vraag rest echter hoe het aantal onterecht negatieve resultaten kunt meten. Deze resultaten bevinden zich namelijk niet in de verzameling gevonden resultaten, maar in de onbekende doelartikelen. De berekening is gebaseerd op een analyse van de artikelen in uw index waarin uw zoekterm niet wordt genoemd. U kunt het aantal onterecht negatieve resultaten schatten op basis van een analyse van de artikelen in uw index die niet tot de verzameling van gevonden zoekresultaten behoren. U leest de artikelen waarin uw zoekterm niet wordt genoemd (terecht en onterecht negatief) en bepaald hoe vaak uw concept wordt genoemd (on- terecht negatief). U kunt hiervoor de index search functie in AmCAT gebruiken. We willen AmCAT de opdracht geven om alle artikelen weer te geven waarin uw zoekterm niet voorkomt, we doen dit door te zoeken naar woorden die in ieder artikel in uw index genoemd zullen worden en uw zoekterm uit te sluiten. We doen dit met behulp van de volgende zoekterm: * NOT (ZOEKTERM). Vervolgens trekt leest u een steekproef van de gevonden artikelen, waarbij u controleert of het door u gezochte concept toch wordt genoemd. Stel dat de verzameling van documenten waarin uw zoekterm niet wordt genoemd uit 1200 teksten bestaat. U leest een steekproef ter grootte van bijvoorbeeld 50 artikelen. Stel dat het door u gezochte concept in 4 van deze artikelen wordt genoemd. U weet dan dat bij benadering 3/50 =.06 = 6 procent van de ar- tikelen een ten onrechte als negatief zoekresultaat aangeduide verwijzing naar uw concept bevat. Op basis daarvan kunt u berekenen dat.06 * 1200 = 72 artikelen een verwijzing naar uw concept bevatten die niet hebt gemeten met de door uw geformuleerde zoektermen (onterecht negatief). stel dat u eerder hebt bepaald dat u 400 terecht positieve zoekresultaten hebt gevonden. Met deze gegevens kunt u de recall van uw zoekterm berekenen: 400/(400+72) =.85 = 85 procent. Deze methode heeft echter twee nadelen. De methode werkt slechter naarmate uw zoekterm relatief minder vaak genoemd wordt in de onderzochte documenten. Als uw zoekterm relatief weinig wordt genoemd in de documenten in uw index dan is deze methode weinig effectief. U zou in dat geval namelijk zeer veel teksten uit uw index moeten lezen om betrouwbare uitspraken te doen

37 3.4 Recall 37 Figuur 3.3: Recall over de recall van uw zoekterm. Stel dat u de aandacht voor hoofddoekjes meet in nieuwsartikelen over de Nederlandse politiek. Als het concept hoofddoekjes in slechts 1 op de 200 artikelen wordt genoemd, zou u een veelvoud van 200 artikelen moeten lezen om een betrouwbare uitspraak te kunnen doen over de recall van uw zoekterm. De effectiviteit van deze methode hangt dus af van de specificiteit van uw concept ten opzichte van de breedte van uw index (de articleset waarbinnen u zoekt). Wanneer u aan deze overwegingen voorbij zou gaan, zou het feit dat u weinig verwijzingen naar uw concept vindt niet automatisch beteken dat de recall hoog is. Een verdere complicatie is dat uw doelteksten onbekend zijn. Dit betekent dat u niet weet in hoeveel van de doelteksten uw concept wordt gemeten. U weet bijvoorbeeld niet hoe vaak hoofddoekjes meet in nieuwsartikelen over de Nederlandse politiek. Derhalve weet u ook niet hoeveel artikelen u zou moeten lezen om betrouwbare uitspraken te doen over de recall van uw zoekterm. Daarnaast werkt de bovengenoemde methode niet voor zoektermen waarin de booleaanse operator NOT wordt gebruikt. De zoekterm * NOT (ZOEKTERM bevat tweemaal de booleaanse operator NOT. Dit levert niet het gewenste resultaat op. Stel dat u wilt zoeken naar de aandacht voor hoofddoekjes, maar expliciet niet naar de aandacht voor hoofddoekjes in het debat over hoofddoekjes in Frankrijk. U zou dan de volgende zoekterm kunnen opstellen hoofddoek* NOT (frankrijk frans*). Als u de bovengenoemde strategie zou volgen bij het zoeken naar artikelen waarin uw concept niet genoemd wordt dan zou dit resulteren in de volgende zoekterm * NOT (hoofddoek* NOT (frankrijk frans*)). U zou AmCAT daarmee de opdracht geven om te zoeken naar artikelen waarin niet verwezen wordt naar hoofddoekjes en niet naar Frankrijk, terwijl u artikelen waarin Frankrijk wordt genoemd juist wel mee wilt nemen, omdat u op zoek bent naar irrelevante artikelen en u niet geïnteresseerd bent in Frankrijk.

38 38 Berekening van de betrouwbaarheid van zoektermen U kunt dit probleem gedeeltelijk ondervangen met twee methodes. Voor concepten waarvan u vermoedt dat ze weinig voorkomen kunt u daarom ook uw recall controle zoekterm aanpassen door * te vervangen door andere woorden waarvan u kunt aannemen dat ze in (vrijwel) alle artikelen waarin uw concept wordt genoemd voorkomen. Bij het voorbeeld van de aandacht voor hoofddoekjes kunt u bijvoorbeeld denken aan verwijzingen naar de Islam of moslims. Uw kunt zoeken op (moslim* islam*) NOT (ZOEKTERM). Deze methode ondervangt echter niet het probleem van zoektermen die de booleaanse operator NOT bevatten. De tweede methode is een grotendeels theoretische methode. Deze methode bestaat uit het reflecteren op de vraag of uw zoekterm alle mogelijke verwijzingen naar uw concept omvat. De volgende vragen kunnen daarbij behulpzaam zijn: Heeft u alle mogelijke synoniemen voor het concept dat u beoogt te meten opgenomen in uw zoekterm? Belangrijke vragen daarbij zijn of u alle woordenboek synoniemen hebt toegevoegd, of u op afkortingen en de volledige naam van organisaties hebt gezocht (e.g. PvdA en Partij voor de Arbeid) en of u geen wildcards bent vergeten. Hebt u geen onnodige en daarmee te beperkende restricties aangebracht in uw zoekterm? Een belangrijke vraag daarbij is of de basiszoekterm en de restrictiezoekterm overlappende verzamelingen zijn, of in andere woorden, of ze samen voorkomen in de onderzochte documenten. U kunt dit controleren met behulp van de Show Cluster map functie, zoals omschreven in sectie 2.6. Hebt u alle hiërarchisch lager geordende onderdelen van uw concept opgenomen? Als u bijvoorbeeld de aandacht voor het kabinet meet is het bijvoorbeeld zaak om naast synoniemen voor het kabinet en de functies van politici binnen het kabinet, de namen van alle kabinetsleden toe te voegen. Als u op zoek bent naar de aandacht voor Ajax, dan wilt u controleren of u de namen van alle spelers en bestuurders hebt opgenomen in uw zoekterm.

39 Deel II Handmatige Inhoudsanalyse 39

40

41 HOOFDSTUK 4 Het uitvoeren van Handmatige Inhoudsanalyse Bij handmatige inhoudsanalyse zet een codeur een tekst om naar meetwaarden. Een codeur kan bijvoorbeeld turven hoeveel nieuwsprogramma s positief (of rechts, of multicultureel,...) zijn en hoeveel negatief. Eigenlijk gebruiken we dus de codeur als meetinstrument. Het grote voordeel van codeurs is dat zij de teksten waarin wij geïnteresseerd zijn kunnen lezen en begrijpen. Daarnaast kunnen we voor codeurs een codeerinstructie opstellen op een hoger niveau dan die voor de computer, omdat de codeur kan begrijpen wat we bedoelen, terwijl een computer alleen blind kan uitvoeren wat we zeggen. Deze voordelen hebben ook direct een nadeel: omdat een codeur zowel de tekst als de codeerinstructie interpreteert is er een groter risico op onbetrouwbaarheid dan bij automatische inhoudsanalyse. Dit risico kan ondervangen worden met een goede codeerinstructie. Hoofdstuk 5 laat zien hoe de intercodeurbetrouwbaarheid te meten om te bepalen hoe betrouwbaar de coderingen zijn. In dit hoofdstuk gaan we in op thematische inhoudsanalyse. Bij thematische inhoudsanalyse coderen we een of meerdere variabelen per tekst die min of meer onafhankelijk van elkaar zijn, bijvoorbeeld verschillende frames, het voorkomen van een onderwerp, of de algemene teneur van een artikel. 4.1 Populatie en meeteenheid Voordat begonnen kan worden met coderen moet de populatie van te coderen eenheden worden bepaald. Alhoewel het mogelijk is om bijvoorbeeld een hele krant of TV-journaal te coderen, zijn we vaak maar in een bepaald deel hiervan geïnteresseerd. Als we onderzoek doen naar de verslaggeving van Irak, bijvoorbeeld, is het niet nodig om artikelen over voetbal te coderen. Voor een dergelijk 41

42 42 Het uitvoeren van Handmatige Inhoudsanalyse onderzoek zou de onderzoekspopulatie kunnen bestaan uit alle artikelen over Irak. Daarnaast moet er gekozen worden welke bronnen (bijv. kranten) worden onderzocht en uit welke periode. Deze keuzes worden allemaal bepaald door de onderzoeksvraag. Als de onderzoeksvraag gaat over verschillen tussen bepaalde (typen) bronnen, dan moeten alle genoemde bron(typen) in de populatie opgenomen worden. Als de vraag zich richt op algemene patronen of effecten, dan dienen bronnen gekozen te worden die representatief zijn. Er kan bijvoorbeeld gekozen worden voor alle landelijke kranten, voor een populaire en een kwaliteitskrant, voor het meest bekeken journaal of voor een links en een rechts medium. Voor de periode is het belangrijk om een (kwalitatief) overzicht te hebben van wat er omtrent het thema is gebeurd, zodat niet per ongeluk een belangrijk gebeurtenis wordt gemist of juist de resultaten teveel beïnvloedt. Deze keuzes dienen te worden verantwoord in de methodensectie. Ten slotte moet bepaald worden wat de meeteenheid is. Voor onderzoek naar kranten is dat vaak een artikel, maar het kan ook een alinea of zelfs een zin zijn. Voor onderzoek naar TV-programma s is het vaak moeilijker. Journaals zijn in te delen in items, maar het is niet altijd duidelijk waar een item begint of ophoudt. Ook kan gekozen worden een deel van de tekst te gebruiken, bijvoorbeeld alleen de koppen of plaatjes bij een artikel. De uiteindelijke formulering van de populatie is vaak iets als alle artikelen in De Telegraaf en de Volkskrant van 2010 waarin zowel het woord Obama als het woord Osama voorkwam. 4.2 Steekproeftrekking Bij een automatische analyse hebben we meestal de luxe dat we al onze eenheden kunnen meten: omdat de computer snel grote hoeveelheden gegevens kan verwerken, is het vaak niet nodig om een steekproef te trekken. Bij handmatige analyse moet elk artikel door een codeur gelezen en gecodeerd worden. Om die reden zijn we bij handmatige meestal genoodzaakt om het coderen te beperken tot een (klein) deel van de populatie van teksten. De criteria voor goede steekproeftrekking zijn bij inhoudsanalyse hetzelfde als bij andere vormen van onderzoek, zoals surveys of experimenten. Deze criteria komen neer op betrouwbaarheid en validiteit: Om betrouwbaar onderzoek te doen moet de steekproef groot genoeg zijn dat de resultaten niet vertekend worden door toevalligheden in de selectie. Om valide onderzoek te doen moet de steekproef representatief zijn voor de populatie. Immers, we willen uitspraken doen over de populatie, en niet over de sample. Bij een niet-representatieve steekproef zou het kunnen dat de conclusies die we op de steekproef baseren niet opgaan voor de populatie. Hoofdstuk 6 bevat een kort overzicht bestaande technieken voor steekproeftrekking. Voor het doen van een steekproeftrekking van inhoudsanalyse worden drie strategieën veel gebruikt: de willekeurige steekproef, de gestratificeerde steekproef, en de systematische steekproef. Welke steekproef geschikt is hangt van de onderzoeksvraag af.

43 4.2 Steekproeftrekking 43 Willekeurige Steekproef (random sample) De makkelijkste manier om een steekproef te trekken is door simpelweg het gewenste aantal teksten willekeurig uit de populatie te selecteren. Op deze manier krijgt u een steekproef die geen bepaalde bias bevat. Gestratificeerde Steekproef (stratified sample) Vaak willen we uitspraken doen over verschillen tussen kranten en/of periodes. In dat geval is het belangrijk dat elke krant of periode voldoende vertegenwoordigd is. Met een gestratificeerde steekproef selecteren we per medium of periode (een stratum) een aantal teksten. Binnen het medium of de periode nemen we dan weer een willekeurige steekproef. Systematische Steekproef (systematic sample) In veel media is er een interne systematiek in de verdeling van onderwerpen. Kranten hebben bijvoorbeeld op maandag veel sport, en kranten hebben vaak op bepaalde dagen bijlagen met bepaalde inhoud. Op zaterdag is er over het algemeen meer ruimte voor reflectie en analyse maar ook voor lifestyle. Om te voorkomen dat bepaalde dagen of rubrieken oververtegenwoordigd zijn kunnen we een systematisch sample nemen. Een techniek is die van de samengestelde week, door de maandag uit de eerste week te nemen, de dinsdag uit de tweede week en zo verder. Een andere mogelijkheid is om elk 10e artikel te nemen. Bij het trekken van een systmatisch steekproef moet altijd goed nagedacht worden of de systematiek niet een vertekening veroorzaakt. Steekproeftrekking in AmCAT Om in AmCAT een steekproef te trekken gaat u als volgt te werk. De eerste stap is het opslaan van populatie: Selecteer de populatie van artikelen met behulp van Article List (kies Table bij Output As) onder het Query-tabblad, en sla deze op als nieuwe articleset middels de knop Save as Set. Ook kunt u een bestaande articleset selecteren onder het tabblad Articles. Om een steekproef te trekken uit deze articleset klikt u op de knop Sample die u ziet wanneer u een articleset geselecteerd heeft (zie figuur 4.1). Hier kunt u aangeven hoeveel artikelen dan wel hoeveel procent van de artikelen in de articleset er in de steekproef moeten komen (zie figuur 4.2). Geef de steekproef een naam en klik op Save. Hiermee creëert u wederom een nieuwe articleset, ditmaal met daarin uw steekproef. Open deze articleset via het tabblad articles. Vervolgens klikt u op csv bij Download results rechtsonderaan de tabel. Figuur 4.3 toont u een voorbeeld van het exporteren van een populatie van artikelen op basis van een zoekactie in het Query-scherm. In dit geval bestond de populatie uit alle artikelen in de Volkskrant en Trouw in 2010 tot en met 2012 waarin zowel pvv als immigr* werden genoemd.

44 44 Het uitvoeren van Handmatige Inhoudsanalyse Figuur 4.1: Articleset-overzicht met rechtsboven de sample-knop Figuur 4.2: Het opslaan van een steekproef in AmCAT

45 4.2 Steekproeftrekking 45 Figuur 4.3: Een selectie van artikelen exporteren met AmCAT

46 46 Het uitvoeren van Handmatige Inhoudsanalyse Figuur 4.4: Voorbeeld van een codeerblad in Excel gebaseerd op geëxporteerde artikelen 4.3 Coderen Na het trekken van de steekproef heeft u een selectie van meeteenheden, bijvoorbeeld krantenartikelen. Deze meeteenheden zijn enigszins te vergelijken met respondenten in survey- of experimenteel onderzoek: per eenheid willen we een aantal variabelen meten. In thematische analyse zijn deze vari- abelen over het algemeen direct of als schaal de concepten waar we in geïnteresseerd zijn. We kunnen bijvoorbeeld per krantenartikel coderen wat de algemene teneur was, of er een politicus in voorkwam, en over welk onderwerp het ging. We meten dan dus drie variabelen: teneur, politicus, en onderwerp. Deze variabelen hebben elk een ander meetniveau: of een politicus voorkomt of niet is een dichotome variabele: alleen 1 (ja) of 0 (nee). De teneur zal een ordinale variabele zijn met een beperkt aantal keuzes, bijvoorbeeld sterk negatief, negatief, neutraal, positief of sterk positief. Onderwerp is een nominale variabele met een vooraf vast te stellen aantal keuzes. De codeerinstructie De belangrijkste stap in het uitvoeren van goede handmatige inhoudsanalyse is een heldere codeerinstructie. In die instructie moet staan welke variabelen gecodeerd moeten worden, wat de mogelijke keuzes zijn, en wanneer waarvoor gekozen moet worden. Als u codeert of er een politicus genoemd wordt, dan moet helder zijn of een lokale of buitenlandse politicus, of een kandidaat-politicus, ook meetellen. Codeert u teneur, dan moet duidelijk zijn of het gaat om de mening van de auteur of de beschrijving van het onderwerp op hoofdpersoon. Als de operatie om Osama bin Laden uit te schakelen is geslaagd, is dat dan positief (voor de operatie of de VS), negatief (voor Bin

47 4.3 Coderen 47 Laden), of afhankelijk van de precieze tekst? Bij onderwerp is het vaak belangrijk om aan te geven wat te doen als er meerdere onderwerpen zijn, en hoe om te gaan met specifieke moeilijke issues: is rekeningrijden een belasting-, infrastructuur-, of privacy-issue? Als de codeerinstructie veel overlaat aan de interpretatie van de codeur, dan leidt dat meestal tot onbetrouwbare coderingen. Bij een groot project is het bijna altijd aan te raden om de codeurs eerst een aantal artikelen te laten coderen, zodat blijkt waar de problemen zitten in de codeerinstructie. Het praktisch uitvoeren van de codering Een eenvoudige manier om inhoudsanalyse praktisch uit te voeren is om een tabel te maken in bijvoorbeeld Excel of SPSS, met in de rijen de eenheden en in de kolommen de te coderen variabelen. Begin altijd met een aantal kolommen met metagegevens zoals artikelnummer, kop, datum, en bron. Deze lijst met gegevens heeft u waarschijnlijk al als resultaat van het exporteren van de artikelen uit AmCAT. Maak vervolgens een kolom aan met de naam van de codeur, zodat die informatie niet verloren gaat. Daarna maakt u per te meten variabele een kolom aan. Het coderen bestaat dan uit het lezen van het artikel en het invullen van de nodige kolommen. In figuur 4.5 ziet u een voorbeeld van een codeerblad in Excel. Na het coderen kunnen de gegevens in Excel worden geanalyseerd of geëxporteerd naar SPSS. Vaak is het nodig om eerst de gegevens langs te lopen om typefouten etc. te verbeteren. De procedure Om het coderen goed te laten verlopen moet een aantal stappen doorlopen worden. Allereerst moet bepaald worden welke variabelen gemeten dienen te worden, en een goede codeerinstructie opgesteld worden zodat per variabele duidelijk is wat er precies moet gebeuren. Daarna is het verstandig om eerst zelf als onderzoeker een klein aantal artikelen te coderen (proefcoderen) om zeker te zijn dat de variabelen en instructie helder zijn en aansluiten bij de te coderen tekst. Na eventuele aanpassingen aan de codeerinstructie kan begonnen worden met het coderen. Als u een set artikelen dubbel gaat coderen dan verdient het de aanbeveling om daarmee te beginnen, omdat dan eventuele onduidelijkheden of verschillen in interpretatie snel aan het ligt komen, en eventueel de codeerinstructie nog kan worden aangepast (waarna opnieuw een set artikelen dubbel gecodeerd moet worden; we willen immers de betrouwbaarheid van de uiteindelijk gebruikte codeerinstructie weten). Als u tevreden bent met de betrouwbaarheid dan kan het coderen echt van start gaan. Bij grote projecten is het verstandig om vaak samen te komen om probleemgevallen en keuzes te bespreken, zodat voorkomen wordt dat codeurs uit elkaar groeien. Wel is het belangrijk om de beslissingen van dergelijk codeeroverleg goed te noteren en op te nemen in de codeerinstructie die uiteindelijk wordt gepubliceerd, anders kan een collega immers niet het onderzoek repliceren, omdat hij of zij die keuzes weer net anders zal maken.

48 48 Het uitvoeren van Handmatige Inhoudsanalyse Figuur 4.5: Overzicht van verschillen tussen handmatige en automatische inhoudsanalyse 4.4 Relatie handmatige en automatische analyse Handmatige en automatische inhoudsanalyse hebben elk eigen voor- en nadelen en zijn daardoor geschikt voor andere doeleinden. Kort gezegd is automatische inhoudsanalyse goed voor het zoeken naar makkelijk te operationaliseren concepten in grote hoeveelheden tekstuele bronnen, terwijl handmatige analyse beter is voor moeilijkere concepten of voor niet-tekstuele bronnen (zoals foto s, radio of TV). Tabel 4.5 geeft een overzicht van de verschillen tussen handmatige en automatische inhoudsanalyse. Bij handmatige analyse heeft de codeur de rol van meetinstrument die bij de automatische inhoudsanalyse door een computerprogramma zoals AmCAT wordt vervuld. Bij automatische analyse dienen de zoektermen als operationalisatie van de te zoeken concepten (zie hoofdstuk 2), terwijl die bij handmatige analyse gebeurt met een (geschreven) codeerinstructie (zie paragraaf 4.3). Het voordeel van automatische analyse is dat het snel is en betrouwbaar, terwijl een handmatige analyse vaak diepgaander kan zijn en doorgaans een hogere validiteit kan hebben, omdat de codeur kan begrijpen wat we bedoelen met het concept. Het gevaar hierdoor is direct dat verschillende codeurs de concepten of teksten anders interpreteren, wat tot onbetrouwbaarheid kan leiden. Dit controleren we met een intercodeurbetrouwbaarheidstoets (zie hoofdstuk 5), terwijl we bij automatische analyse door het berekenen van de precision en recall de validiteit controleren (zie hoofdstuk 3). Nu moet gesteld worden dat automatische en handmatige analyse elkaar niet noodzakelijk uitsluiten. Door handmatige en automatische inhoudsanalyse te combineren kunnen de sterke kanten van beide methodes benut worden. Eigenlijk gebeurt dit al door de populatie van te onderzoeken artikelen te baseren op het voorkomen van bepaalde woorden: deze woorden zijn een zoekstring, en de selectie van de populatie is daarmee een automatische inhoudsanalyse. Het verdient dat ook aanbeveling om de technieken voor het opstellen en controleren van zoektermen (zie hoofdstuk 2) te gebruiken voor het bepalen van de populatie. De meest voorkomende manier van de combinatie van handmatige en au-

49 4.5 Coderen: praktische tips 49 tomatische analyse is het gebruik van de automatische analyse als exploratieve analyse voorafgaand aan de selectie van media, periode en sleutelwoorden voor de handmatige analyse. Op die manier wordt de (dure) handmatige analyse gebruikt voor het bekijken van de meest interessante artikelen. Welke periode of media geselecteerd worden hangt af van de onderzoeksvraag: soms is het nuttig om een bepaalde piek te onderzoeken (als die inhoudelijk interessant is), en soms is het juist goed om een piek te vermijden (omdat dan het nieuws sterk wordt bepaald door een bepaalde gebeurtenis). Als uit automatische analyse blijkt dat alle media op elkaar lijken dan kan het voldoende zijn om 1 bron te onderzoeken, terwijl als blijkt dat sommige media sterk van elkaar verschillen dan is het waarschijnlijk goed om die in ieder geval mee te nemen. Een laatste manier om handmatige en automatische analyse te combineren is om automatische analyse te gebruiken voor het bepalen van de omvang van een concept of relatie; en handmatige analyse van een steekproef voor het bepalen van de aard. Op die manier kan de omvang, en vooral trends en pieken in deze omvang, nauwkeuriger en voor een grotere periode vastgesteld worden dan met een handmatige analyse van een steekproef. Aan de andere kant geeft de handmatige analyse antwoord op de meestal prangende vraag van hoe er precies over het concept of de relatie gesproken wordt. 4.5 Coderen: praktische tips Hieronder volgen enkele praktische tips om goed te coderen: Maak een uitgebreide codeerinstructie, waarin u helder opschrijft wanneer iets wel of niet tot een concept behoort Codeer vooraf zelf een klein aantal artikelen, om te testen of de instructie inderdaad helder is. Begin met het dubbel coderen van artikelen voor de betrouwbaarheidsberekening. Hou toezicht op het coderen: kom regelmatig bijeen en check het werk van onervaren codeurs. Pas op voor een bias als sommige codes makkelijker of gedetailleerder zijn dan andere.

50 50 Het uitvoeren van Handmatige Inhoudsanalyse

51 HOOFDSTUK 5 Betrouwbaarheid van handmatige inhoudsanalyse Zoals uiteengezet in hoofdstuk 3 moet onderzoek betrouwbaar zijn. Dit betekent dat de resultaten van uw onderzoek repliceerbaar moeten zijn. Daarnaast moet uw onderzoek valide zijn. Dit betekent dat u moet meten wat u daadwerkelijk beoogt te meten. Handmatige inhoudsanalyse leidt doorgaans tot uitkomsten met een hoge validiteit. Menselijke codeurs zijn, in tegenstelling tot computers, immers in staat om concepten te herkennen. Handmatige inhoudsanalyse zal in vergelijking met geautomatiseerde inhoudsanalyse doorgaans echter tot resultaten met een lagere betrouwbaarheid leiden, omdat verschillende codeurs, in tegenstelling tot computers, met identieke codeerinstructies niet altijd tot dezelfde conclusies zullen komen. Codeurs worden bij het herleiden van woorden of woordcombinaties tot concepten namelijk beïnvloed door vele factoren. Codeurs worden bijvoorbeeld beïnvloed door de tijdgeest, waardoor eenzelfde tekst in 2010 wellicht anders gecodeerd wordt dan dezelfde tekst in 2000 gecodeerd zou worden. Codeurs worden ook beïnvloed door hun culturele bagage. Een bepaalde woordcombinatie zal in de ene cultuur wellicht andere associaties oproepen dan in een andere cultuur en derhalve tot andere concepten herleid worden. Tenslotte worden individuele codeurs ook beïnvloed door hun persoonlijke opvattingen en denkbeelden. Door goede, nauwkeurige codeerinstructies op te stellen en de codeurs intensief te trainen kan de betrouwbaarheid van handmatige inhoudsanalyse worden vergroot. Het blijft echter noodzakelijk om na de uitvoering van het onderzoek ook daadwerkelijk te testen hoe groot de betrouwbaarheid van de uitgevoerde inhoudsanalyse is. Een betrouwbaarheidsanalyse dient verschillende doelen. Het eerste doel is nagaan welk deel van de codeerinstructie onduidelijk is en welke codeurs afwijken van de groep als totaal. Met deze gegevens kan de instructie beter worden geformuleerd en kunnen de zwakke codeurs extra 51

52 52 Betrouwbaarheid van handmatige inhoudsanalyse training krijgen of, als dat niet kan of helpt, kunnen zij worden vervangen door betere codeurs. Een tweede doel is om vast te stellen welke soort evaluaties in teksten tot grote overeenstemming leiden en welke tot verdeeldheid bij de codeurs. Van politieke en bestuurlijke teksten is bijvoorbeeld bekend dat iets vaak bewust in het midden wordt gelaten, omdat betrokkenen niet duidelijk willen of kunnen zijn. Een derde doel is om een objectieve maat voor de betrouwbaarheid van de codering te kunnen rapporteren. In wetenschappelijke tijdschriften wordt dit vaak geëist, maar ook commerciële opdrachtgevers willen steeds vaker weten hoe sterk de gehanteerde methode is. Een betrouwbaarheidsmaat geeft een indicatie van de objectiviteit van de inhoudsanalyse. Er wordt met een betrouwbaarheidsanalyse gemeten in hoeverre intersubjectiviteit de betrouwbaarheid van de analyses heeft verkleind. Er wordt gestreefd naar objectiviteit, omdat objectiviteit de repliceerbaarheid van het onderzoek vergroot. Er zijn verschillende manieren om de betrouwbaarheid te meten. Een handmatig uitgevoerde inhoudsanalyse kan bijvoorbeeld vergeleken worden met een op andere wijze uitgevoerde analyse, zoals een geautomatiseerde inhoudsanalyse. De meest gehanteerde vorm van betrouwbaarheidsanalyse van handmatige inhoudsanalyse is echter een meting van de intercodeurbetrouwbaarheid (inter coder reliability). Bij de berekening van de intercodeurbetrouwbaarheid worden de coderingen van verschillende codeurs met elkaar vergeleken. De basisgedachte bij de berekening van de intercodeurbetrouwbaarheid is de vraag of de codeurs op dezelfde manier coderen. Voor een valide berekening van de betrouwbaarheid is het belangrijk dat de codeurs de teksten onafhankelijk van elkaar coderen. Wanneer codeurs elkaar beïnvloeden tijdens het coderen dan tast dit de validiteit van de betrouwbaarheidsanalyse aan. Het is niet uitzonderlijk dat onderzoekers meerdere variabelen meten met behulp van een handmatige inhoudsanalyse, bijvoorbeeld het onderwerp en toon van een artikel. Aangezien een correcte identificatie van concept A niet betekent dat concept B ook correct geïdentificeerd wordt, is het noodzakelijk om een afzonderlijke betrouwbaarheidsanalyse uit te voeren voor alle variabelen. 5.1 Procedure Het principe achter het uitvoeren van een intercodeur-betrouwbaarheidsanalyse in eenvoudig: 1. Neem een steekproef van artikelen 2. Laat twee of meer codeurs de artikelen onafhankelijk van elkaar coderen 3. Bereken de betrouwbaarheid Voor de steekproef voor de betrouwbaarheid gelden dezelfde regels als voor normale steekproeven en wordt in principe een willekeurige steekproef genomen. Een goede vuistregel is dat minimaal 30 eenheden dubbel gecodeerd moeten worden (zie Krippendorff (2004) voor een exacter advies). Voor het

53 5.2 Overeenstemming 53 coderen van deze eenheden gelden twee voorwaarden: Ten eerste moeten codeurs onafhankelijk coderen: ze mogen niet overleggen over de teksten. Ten tweede moeten de codeurs werken volgens de geschreven codeerinstructie. Het principe hierachter is dat het onderzoek repliceerbaar is: een andere onderzoeker moet met dezelfde codeerinstructie binnen de grenzen van de gevonden betrouwbaarheid op dezelfde resultaten uit kunnen komen. Voor de betrouwbaarheidsberekening bestaan verschillende methode. De volgende secties bespreken drie van deze methodes: percentage overeenstemming, Cohen s kappa, en Krippendorff s alpha. 5.2 Overeenstemming De vraag die we bij de berekening van de betrouwbaarheid van een analyse stellen is in hoeverre codeurs op dezelfde wijze coderen. De eenvoudigste manier om de betrouwbaarheid te meten, is de berekening van het percentage gecodeerde items welke door de verschillende codeurs op gelijke wijze worden gecodeerd. Deze methode heeft echter twee nadelen: De methode houdt geen rekening met toevallige overeenstemming tussen de codeurs, oftewel de toevalsovereenstemming. Dit is met name een probleem bij variabelen met een klein aantal categorieën en een klein aantal codeurs. Wanneer twee codeurs een keuze moeten maken uit slechts twee categorieën, dan is de toevalsovereenstemming bijvoorbeeld 50 procent. De gepercenteerde overeenstemming is een slechte maat voor scheve verdelingen. Stel dat codeurs de aanwezigheid van een concept moeten meten dat slechts in 10 procent van de onderzochte items voorkomt. De gepercenteerde overeenstemming zal doorgaans groot zijn vanwege de overeenstemming in de identificatie van items waarin het concept niet wordt genoemd. De interessante vraag is echter juist in hoeverre de codeurs het eens zijn over de identificatie van de items waarin het concept wel wordt genoemd. Tabel 5.1 toont de coderingen van twee verschillende codeurs. De codeurs hadden als taak om aan te geven of een bepaalde krantenkop betrekking had op de Griekse crisis of niet. De coderingen tonen aan waarom het belangrijk is om de toevalsovereenstemming in ogenschouw te nemen. De vraag die nu rijst is hoe betrouwbaar deze analyses zijn. De mate van overeenstemming kan worden berekend door het aantal items waarover de codeurs het eens zijn te delen door het totale aantal items. Van de 6 items zijn er 3 gelijk gecodeerd. Dit levert de volgende berekening op: 3 = 50 procent. De overeenstemming tussen de codeurs bedraagt 50 procent. De toevalsovereenstemming bedraagt echter ook 50 procent. Als u twee muntjes opgooit is de kans 50 procent dat ze allebei kop of allebei munt zijn. Dit betekent dat de betrouwbaarheid van de bovenstaande coderingen niet groter is dan de toeval-

54 54 Betrouwbaarheid van handmatige inhoudsanalyse Figuur 5.1: Voorbeeld: Nieuws over Griekse crisis skans. Deze betrouwbaarheid had ook behaald kunnen worden als Jan en Marie niet naar de teksten hadden gekeken maar elk een muntje op hebben geworpen. Bovenstaande voorbeeld toont aan dat het percentage overeenstemming als betrouwbaarheidsmaat een groot nadeel heeft. Er zijn echter ook omstandigheden waarin deze maat gebruikt kan worden. Dit is het geval als de gevonden betrouwbaarheid heel groot is, en/of de verwachte toevalskans heel klein is. Denk bij dat laatste bijvoorbeeld aan het coderen van onderwerp: als codeurs mogen kiezen uit 25 onderwerpen die allemaal ongeveer even vaak voorkomen, dan is toevalsovereenstemming rond de 4 procent. 5.3 Verwarringstabellen Om overeenstemming en toevalsovereenstemming te berekenen is het handig om een verwarringstabel (confusion matrix) te gebruiken. Zulke tabellen geven de mate van overeenstemming tussen verschillende codeurs overzichtelijk weer. Een verwarringstabel is een kruistabel waarin wordt weergegeven hoe vaak bepaalde combinaties van antwoorden van de verschillende codeurs voorkomen. Op basis van de bovenstaande coderingen kan bijvoorbeeld de onderstaande verwarringstabel worden opgesteld. De som van de waarden op de diagonale as, weergegeven in de linker onderhoek, verwijst naar het aantal items waarover de codeurs het eens zijn. In dit geval zijn de codeurs het eens over de codering van drie van de items. De randtotalen, marginalen genaamd, geven de distributie van de combinaties van antwoorden van de verschillende codeurs weer. Op basis van de marginalen kan de toevalsovereenstemming worden berekend. Tabel 5.2 geeft de verwarringstabel weer die hoort bij de voorbeeldcoderingen uit tabel 5.1. In de kolommen staan de coderingen van Jan, en in de rijen die van Marie. In de cel linksboven is bijvoorbeeld te lezen dat er twee artikelen zijn die door zowel Jan als Marie als positief zijn gecodeerd, terwijl in de cel rechtsboven staat dat er 1 artikel is dat door Jan negatief, maar door Marie positief is gecodeerd. In de totalenkolom rechts kunt u zien dat Marie 3 artikelen positief heeft gecodeerd en evenveel negatief. In de totalenrij onderin ziet u dat Jan 4 artikelen positief heeft gecodeerd, en twee negatief. In totaal zijn er 6 eenheden dubbel gecodeerd. Vanuit deze

55 5.3 Verwarringstabellen 55 Figuur 5.2: Leesvoorbeeld: 1 artikel is door Jan negatief gecodeerd en door Marie positief. In totaal heeft Marie 3 artikelen positief gecodeerd. Figuur 5.3: Codering met meerdere categorieën tabel kunt u de getallen voor de berekening van de overeenstemming makkelijk aflezen: op de diagonaal staan de eenheden waarover overeenstemming is (2 + 1), terwijl de rechtsonderhoek het totaal aantal eenheden geeft (6). De overeenstemming is dus 2+1 = 50 procent, gelijk aan de berekening hierboven. Vaak wordt codeurs niet alleen gevraagd om te bepalen of een bepaald concept, zoals de Griekse crisis, wel of niet aanwezig is in een bepaalde tekst, maar moet er door de codeur een keuze worden gemaakt uit meerde categorieën. In andere woorden, handmatige inhoudsanalyse wordt niet alleen toegpast bij dichotome variabelen, maar ook bij nominale variabelen. Ook voor dergelijke variabelen kan een verwarringstabel opgesteld worden en het percentage ovreeenstemming berekend worden. Tabel 5.3 geeft een voorbeeld van een verwarringstabel afgeleid uit een lijst van vijf gecodeerde eenheden waarbij de codeurs een keuze konden maken uit drie verschillende categorieën. De mate van overeenstemming kan weer worden berekend door het aantal items waarover de codeurs het eens zijn te delen door het totale aantal items. De items waarover de codeurs het eens zijn staan weer op de diagonaal: = 3. Dit levert de volgende berekening op: 3 = 60 procent. De overeenstemming tussen de codeurs bedraagt 60 procent. De toevalsovereenstemming bedraagt 33 procent. Zoals eerder aangegeven, houdt de berekening van de geobserveerde overeenstemming tussen codeurs geen rekening met toevallige overeenstem- ming. Dit probleem wordt echter kleiner naarmate het aantal categorieën stijgt. Het tweede nadeel van de gepercenteerde overeenstemming als

56 56 Betrouwbaarheid van handmatige inhoudsanalyse Figuur 5.4: Geobserveerde overeenstemming bij scheve verdeling van de codes maat is dat de maat niet geschikt is voorresultaten met scheve verdelingen. Het onderstaande voorbeeld toont aan waarom dit het geval is. In dit voorbeeld bedraagt de percentage overeenstemming 70 procent. De codeurs zijn het in zeven van de tien gevallen met elkaar eens dat het gezochte concept afwezig is in de tekst. Echter, ze zijn het nooit eens over de aanwezigheid van het concept. We zeggen dat de verdeling van keuzes (hier + en -) scheef is als bepaalde categorieën (veel) vaker voorkomen dan anderen. De toevalsovereenstemming is dan veel groter dan 1 gedeeld door het aantal categorieën. Dit lijkt op bijvoorbeeld twee drugshonden die aan baggage ruiken en blaffen als er iets verdachts in zit. Zelfs als 1 van de honden totaal niet zou kunnen ruiken, zou hij het meestal toch met zijn collega eens zijn, omdat de meeste baggage nu eenmaal geen drugs bevat. Een toevalsovereenstemming van 50 procent is in dat geval dus misleidend: in werkelijkheid ligt die (veel) hoger. 5.4 Cohen s Kappa Cohen s Kappa is een betrouwbaarheidsmaat die corrigeert voor toevalsovereenstemming, ook bij een scheve verdeling. Er wordt gecorrigeerd voor een hoge toevalsovereenstemming door deze overeenstemming te berekenen en expliciet mee te nemen in de berekening. De formule voor Cohen s Kappa is als volgt: Waarbij P(a) de daadwerkelijke overeenstemming is, en P(e) de verwachte (expected) overeenstemming. P(a) wordt net als eerder afgelezen uit de diagonalen: = 70 procent. P (e) wordt berekend vanuit de marginalen in de verwarringstabel. Per categorie willen we weten hoe hoog de kans is dat beide codeurs toevallig samen die categorie uitkiezen. Net zoals de kans op twee

57 5.4 Cohen s Kappa 57 Figuur 5.5: Cohen s Kappa voor meerdere categorieën zessen bij dobbelen gelijk is aan 1 1 = 1 is die kans het product van het percentage gevallen dat elke codeur aan die categorie toewijst. In het voorbeeld uit Tabel 5.5 is de kans dat Piet een willekeurig element met 0 codeert gelijk aan 10 = 80 procent. Voor Jan is deze kans 90 procent. De kans dat beide codeurs hier tegelijk 0 coderen is dus = De kans dat ze beiden 1 coderen is =.02. De totale kans de de codeurs het toevallig eens zijn is dus = We kunnen nu de Kappa berekenen met de formule hierboven: We zien hier dus dat, ondanks de schijnbaar hoge overeenstemming van 70 procent, de betrouwbaarheid eigenlijk zeer laag is door de erg scheve verdeling. Cohen s Kappa kan ook toegepast worden om de betrouwbaarheid van de coderingen van meer dan twee categorieën te meten. Het voorbeeld in tabel 5.5 geeft aan hoe Cohen s Kappa berekend kan worden voor drie categorieën. Cohen s Kappa heeft ook een belangrijk nadeel als betrouwbaarheidsmaat. Wanneer er geen overeenstemming is tussen de codeurs met betrekking tot de distributie van de items in categorieën, dan resulteert dit in een lage berekende

58 58 Betrouwbaarheid van handmatige inhoudsanalyse Figuur 5.6: Overeenstemming over marginalen Figuur 5.7: Geen overeenstemming over marginalen toevalsovereenstemming en daarmee tot een hoge Cohen s Kappa. Dit wordt geillustreerd door de coderingen uit tabellen 5.6 en 5.7. In beide tabellen zijn de randverdelingen hetzelfde en zijn de codeurs het even vaak het over dezelfde categorieën eens. In de tweede tabel is er echter geen overeenstemming over de randverdeling: de codeur in de kolommen heeft veel vaker C terwijl de codeur in de rijen juist vaker A heeft gecodeerd. Intuïtief is de codering uit de eerste tabel dus beter: daar zijn de codeurs het in ieder geval eens over de randverdeling. De Kappa uit de tweede tabel is echter hoger doordat de toevalsovereenstemming lager is. Cohen s Kappa is in andere woorden gevoelig voor verschillen in de distributie binnen categorieën.

59 Deel III Statistiek voor Inhoudsanalyse 59

60

61 HOOFDSTUK 6 Statistiek: basiskennis In de syllabus Van onderzoeksvraag naar antwoord werd de volgende vraag opgeworpen: In hoeverre verschilt de berichtgeving over het conflict tussen Israel en Palestina in NRC Handelsblad en De Telegraaf? Met behulp van inhoudsanalysedata die we uit Amcat halen, kunnen we een antwoord geven op deze vraag. Echter, wat doen we met die data en hoe interpreteren we ze? Wanneer is een gevonden verschil ook daadwerkelijk een verschil (dat ertoe doet)? Dit is het moment dat statistische technieken om de hoek komen kijken. Maar voordat je die kan gaan gebruiken volgt eerst wat basiskennis. In hoofdstuk 6 en 7 gaan we in vogelvlucht door een paar belangrijke onderwerpen heen. Als je die snapt, dan ben je een heel eind op weg om daarna je eigen hypothesen te kunnen toetsen. 6.1 Populatie en steekproef Als we willen weten hoe politiek geïnteresseerd de gemiddelde Nederlander van jaar is, dan kunnen we in de Gemeentelijke Basis Administratie (GBA) alle Nederlanders in de leeftijdscategorie opsporen en die gaan ondervragen. Als je dat doet, dan heb je te maken met de populatie van jarige Nederlanders (de term populatie impliceert dat je ze allemaal hebt ). Het statistische symbool dat we voor een populatie gebruiken is N. De vraag is echter of het efficiënt is om de hele populatie te bestuderen. We kunnen ook een representatieve steekproef uit die groep trekken, en aan hen vragen hoe politiek geïnteresseerd zij zijn. Een steekproef is een deelverzameling van de eenheden (in dit geval: personen van jaar) in de populatie. Het statistische symbool dat we voor een steekproef gebruiken is n (en omdat n een deelverzameling is 61

62 62 Statistiek: basiskennis Parameter Populatie Steekproef Gemiddelde µ x Variantie σ 2 s 2 Standaarddeviatie σ s Aantal cases N (populatieomvang) n (steekproefomvang) Tabel 6.1: Notatie van parameters voor populatie en steekproef van N, is per definitie n < N). De uitkomsten van deze steekproef zijn dan een indicatie voor hoe politiek geïnteresseerd de populatie is. Een indicatie, omdat er een bepaalde onbetrouwbaarheid aan een steekproef vast zit: je hebt immers niet de hele populatie ondervraagd het kan dus zo zijn dat je steekproef niet helemaal precies de werkelijkheid weerspiegelt. Hoe groter de steekproef, hoe groter de betrouwbaarheid van de uitkomsten: Je kunt je voorstellen dat een steekproef van 100 mensen een kleinere betrouwbaarheid geeft dan een steekproef van mensen. Een populatie en een steekproef hoeven niet per se betrekking te hebben op mensen. Het kan, in ons geval, bijvoorbeeld ook betrekking hebben op krantenartikelen. We kunnen als populatie bijvoorbeeld kiezen voor alle krantenartikelen in NRC Handelsblad in 2010 waarin Israel en/of Palestina voorkomt (N). We kunnen hieruit een representatieve steekproef (n) van een bepaalde omvang trekken. Doordat de steekproef representatief is, kunnen we op basis van de kenmerken van de artikelen in de steekproef een meer of minder betrouwbare indicatie krijgen van de kenmerken van de populatie van krantenartikelen. Statistiek gebruik je dus als je op basis van steekproefonderzoek iets wilt zeggen over de populatie. Stel: ik wil weten of De Telegraaf vaker een terreurframe hanteert in de verslaggeving over het conflict tussen Israel en Palestina dan NRC Handelsblad. Uit alle artikelen in 2010 waarin Israel en/of Palestina voorkomt neem ik een steekproef van 100 artikelen voor NRC Handelsblad en 100 voor De Telegraaf. Ik codeer het vóórkomen van het terreurframe in de 200 artikelen in wel een terreurframe (waarde 1), of geen terreurframe (waarde 0). Nu vind ik dat 40 van de 100 artikelen in De Telegraaf een terreurframe hanteren. Voor NRC Handelsblad zijn dat er 20 van de 100. Nu is de vraag: is dit gevonden verschil in de steekproeven groot genoeg om aan te nemen dat er in de populaties van NRC Handelsblad en De Telegraaf ook daadwerkelijk een verschil bestaat tussen het gebruik van het terreurframe? Dat antwoord is met een bepaalde onzekerheid omgeven, want we hebben niet alle artikelen (de hele populatie) onderzocht. We hebben statistische technieken nodig om aan te kunnen geven hoe waarschijnlijk we het achten dat dit gevonden verschil tussen de twee steekproeven ook daadwerkelijk in de populatie zal bestaan. De notatie van verschillende statistische grootheden (parameters) verschilt voor populatie en steekproef. Tabel 6.1 geeft een overzicht van de belangrijkste. We komen in 7 terug op het gebruik van deze parameters. Op zich is het voor de efficiëntie niet nodig om een steekproef te trekken

63 6.2 De keuze van de steekproef 63 uit de populatie van krantenartikelen omdat Amcat die automatisch zoekt en analyseert voor ons. Dus of de computer er nu 10 of analyseert, dat maakt niet uit. En als we een verschil vinden tussen framing in De Telegraaf en NRC Handelsblad op basis van de hele populatie, dan weten we dat dat verschil er ook echt is. En tóch gebruiken we statistische methodes, omdat we iets willen zeggen over de grootte van verschillen die we vinden tussen de populatie van artikelen in NRC Handelsblad en De Telegraaf. Daarnaast willen we gevonden verschillen kunnen vergelijken met uitkomsten uit andere onderzoeken. Om dat te doen hebben we statistische methoden nodig. 6.2 De keuze van de steekproef Je kunt op een aantal verschillende manieren een steekproef uit een populatie trekken. De manier waarop je dit doet is onder andere afhankelijk van de onderzoeksvraag die je wilt beantwoorden. De meest gangbare steekproef is een a-selecte steekproef (Random Sampling). Hierbij kent de onderzoeker de hele populatie en trekt geheel willekeurig een vooraf gesteld aantal eenheden. We laten de computer bijvoorbeeld een willekeurige selectie (steekproef) maken uit de populatie van krantenartikelen in NRC Handelsblad in 2010 waarin Israel en/of Palestina voorkomt. Een a-selecte steekproef moet in ieder geval aan de volgende drie eisen voldoen: 1. De steekproef moet geheel willekeurig (a-select) zijn getrokken uit de hele populatie 2. De steekproef moet representatief zijn voor de populatie, dat wil zeggen dat de kenmerken van de eenheden in de steekproef vergelijkbaar zijn met die uit de populatie; 3. De uitkomsten van de steekproef moeten generaliseerbaar zijn voor de populatie: dit is een kenmerk van de conclusies, nl. dat ze algemeen geldig zijn, dus ook buiten de steekproef. Voor inhoudsanalyse zijn er verschillende soorten waarschijnlijkheids (probability ) steekproeven te trekken. Hierbij gaat men ervan uit dat alle analyse-eenheden even informatief zijn. Ieder artikel heeft als het ware evenveel informatie toe te voegen (net als iedere respondent in een survey evenveel informatie heeft toe te voegen wanneer hij/zij een vragenlijst invult). Een probleem is echter dat de artikelen veelal een andere informatiedichtheid kennen. Het ene artikel is langer dan het andere en heeft dus meer of minder informatie toe te voegen aan het onderzoek. Hier kun je als onderzoeker bij het trekken van een steekproef rekening mee houden. Hieronder volgt een korte schets van een aantal andere steekproefprocedures die dan gebruikt kunnen worden.er zijn nog meer vormen van steekproeven die we hier buiten beschouwing laten. Zie voor overzichten bijvoorbeeld Krippendorff (2004).

64 64 Statistiek: basiskennis Systematische steekproef Hierbij neemt de onderzoeker iedere x-te eenheid op in de steekproef. Deze techniek komt veel voor bij inhoudsanalyse wanneer het gaat om regelmatig te verschijnen publicaties, zoals kranten. Iedere x-te dag wordt dan meegenomen in de steekproef. Probleem hierbij is dat je als onderzoeker wel uit moet kijken dat je de x niet laat vallen op steeds een zelfde moment. Wanneer je bijvoorbeeld iedere 7e dag zou nemen als je kijkt naar dagbladen, dan heb je iedere keer een maandag wat resulteert in een bias (richting sport waarschijnlijk) in je steekproef. Gestratificeerde steekproef Bij een dergelijke steekproef gaat men uit van duidelijk te onderscheiden subpopulaties, bijvoorbeeld naar kwartaal of naar merk. Binnen deze subpopulaties voert de onderzoeker dan weer een a- selecte of systematische steekproef uit. De gedachte hierachter is dat de variatie binnen een stratum (het woord dat meestal gebruikt wordt voor subpopulatie ) veelal kleiner is dan de variatie over de hele populatie. Als je een steekproef neemt uit ieder stratum apart dan krijg je een betere representativiteit van je totale steekproef dan wanneer je geen onderscheid zou maken. Als je bijvoorbeeld nadenkt over de gemiddelde huurprijzen van een 2-kamerflat in Amsterdam dan is het verstandig de stad op te delen in verschillende wijken (strata) en uit iedere wijk een steekproef te trekken. Immers, de huurprijzen in het centrum zullen veel hoger uitkomen dan in Oost of in de Bijlmer. Op deze manier geef je een beter beeld van de werkelijkheid dan wanneer je geen rekening zou houden met de verschillende strata in je steekproef. Steekproef met variërende waarschijnlijkheid Bij het trekken van een dergelijke steekproef wordt er rekening gehouden met het feit dat de ene tekst meer informatie bezit dan de andere tekst en daardoor ook meer informatie heeft toe te voegen aan de onderzoeksvraag. Bij onderzoek naar dagbladen wordt bijvoorbeeld vaak gewerkt met een weging naar oplagecijfers. Deze weegfactor bepaalt dan de kans dat een artikel wordt meegenomen in de steekproef. Wanneer je uitgaat van de lezer dan is de kans dat een artikel in De Telegraaf een lezer bereikt aanzienlijk groter dan wanneer je uitgaat van een artikel in NRC Next. Wanneer je de steekproef trekt kun je derhalve rekening houden met de oplagecijfers en deze meenemen in de steekproef je krijgt dan, naar rato van de lezersaantallen, meer artikelen uit De Telegraaf en minder artikelen uit NRC Next in je steekproef. Disproportionele steekproef Dit is een steekproef waarvan sommige categorieën (strata) zijn oververtegenwoordigd ten opzichte van de totale populatie. Op die manier kun je bepaalde strata eruit lichten, je krijgt meer informatie over die (relatief kleine) groepen. Wanneer bijvoorbeeld maar 5% van je artikelen gaan over Brand dan heb je grote kans dat bij een steekproef van 200 artikelen maar 10 artikelen gaan over Brand; een steekproef die te klein is om er iets zinnigs over te kunnen zeggen. Je zou dan kunnen overwegen om meer

65 6.3 Meetniveau van variabelen 65 artikelen in je steekproef mee te nemen die over Brand gaan (je oversampleteen sample is de Engelse term voor een steekproef. Als je een stratum over - of onder-samplet dan trek je uit die groep een grotere of kleinere steekproef dan je bij een zuiver a-selecte steekproef zou doen. dan een bepaalde subpopulatie). Let wel op dat de steekproef dan niet meer representatief is voor de hele populatie. Dit kan technisch echter weer opgelost worden door de data te wegen naar het vóórkomen van subgroepen in de populatie. 6.3 Meetniveau van variabelen In de statistiek is het begrip variabele heel belangrijk. Een variabele is een eigenschap van een populatie-eenheid die verschillende waarden aan kan nemen. De variabele Geslacht kan de waarden man/vrouw aannemen, de variabele Lichaamsgewicht kan van nul tot veel variëren, de variabele Gemiddeld aantal uren internetgebruik per dag kan waarden 0-24 aannemen. In de statistiek willen we graag waarden vergelijken met elkaar. Hoeveel uur besteedt de gemiddelde Nederlander per dag aan internet? En hoeveel uren besteden 65- plussers aan internet, in vergelijking met 65-minners? In dit laatste geval zet je de variabele Uren internetgebruik af tegen de variabele Leeftijd. Het is belangrijk dat je variabelen kunt indelen naar hun meetniveau. Het meetniveau kan oplopen van weinig informatie tot veel informatie. Afhankelijk van de rijkheid van de informatie die je hebt in je variabelen, kun je er statistieken op loslaten. Vandaar dat we nu eerst uitgebreid stilstaan bij de verschillende meetniveaus. Als je dit snapt, dan is het straks gemakkelijk om een geschikte statistische methode uit te zoeken bij de vraag die je wilt beantwoorden. Nominale variabele Er is een verschil tussen de waarden maar er is geen sprake van meer of minder. Een voorbeeld is de variabele Geslacht (met als waarden: m/v). Er is geen rangorde aan te geven tussen de twee waarden vrouw en man; dit is dus een nominale variabele. De variabele Woonplaats is een ander voorbeeld. Ook de variabele Type dagblad (met als waarden: NRC Handelsblad/De Telegraaf) is er één: NRC Handelsblad is niet meer of minder dan De Telegraaf. Je kunt ook artikelen onderzoeken op het gebruik van het terreurframe, met als waarden ja (er komt minimaal één keer een terreurframe in het artikel voor) of nee (er komt geen terreurframe in het artikel voor). Ook dit is een voorbeeld van een nominale variabele. Als er sprake is van een nominale variabele met maar twee waarden (zoals Geslacht (man/vrouw) of Gebruik van terreurframe in een artikel (Ja/Nee)), dan spreken we van een dichotome variabele. Ordinale variabele Er is een verschil tussen de waarden, en er is sprake van een rangorde. Dit betreft vaak schalen die worden gebruikt in enquêtes. Bijvoorbeeld de vraag: Kunt u aangeven hoe sterk u het met de volgende stelling

66 66 Statistiek: basiskennis eens bent? Politici zijn over het algemeen betrouwbaar. Bent u het daar... (1) Zeer mee oneens; (2) Mee oneens; (3) Mee eens; (4) Zeer mee eens? De waarden (antwoorden) van de variabele Betrouwbaarheid van politici zijn gerangordend: antwoord 4 betekent dat men politici betrouwbaarder vindt dan antwoord 1, 2 of 3. Maar de afstand tussen waarde (1) en (2) is niet gelijk aan de afstand tussen waarde (2) en (3). Die afstand zegt namelijk niks bij een ordinale variabele. Interval variabele Er is een verschil tussen de waarden, er is sprake van een rangorde, en ook van gelijke afstand. Een voorbeeld is de variabele Temperatuur. Als het 30 graden is dan is het warmer dan wanneer het 15 graden is (er is dus een rangorde). En het verschil tussen 15 graden en 30 graden is hetzelfde als het verschil tussen 30 en 45 graden (er is dus een gelijke afstand). Maar je kunt niet zeggen dat het vandaag (30 graden) twee keer zo warm is als gisteren (15 graden). Je kunt geen verhouding aangeven in het geval van een intervalvariabele omdat er geen natuurlijk nulpunt is. De temperatuur kan ook onder nul zijn (vandaar kun je niet spreken over 2x zo warm ). In praktijk heb je niet zo vaak te maken met een intervalvariabele; meestal is er wel een natuurlijk nulpunt aanwezig en dan heb je te maken met een ratiovariabele. Ratio variabele Er is een verschil tussen de waarden, er is sprake van een rangorde, en ook van gelijke afstand en verhouding. Dit laatste komt doordat er een natuurlijk nulpunt is. Een voorbeeld is Leeftijd. Als je 80 bent dan ben je twee keer zo oud als iemand van 40. Een ander voorbeeld is Aantal krantenartikelen over het conflict tussen Israel en Palestina. Als er 10 artikelen in de krant staan dan zijn dat er twee keer zoveel als wanneer er 5 in staan. Of het aantal keren dat een terreurframe gebruikt wordt per artikel. Merk op dat er een verschil zit tussen de nominale variabele gebruik van het terreurframe in een artikel (met als waarden ja en nee) en de ratiovariabele aantal keren dat een terreurframe wordt gebruikt per artikel. Het is belangrijk dat je kunt afleiden wat voor meetniveau variabelen hebben. In de hoofdstukken 8 en 9 heb je die wetenschap nodig om uit te vinden welke statistische technieken nodig zijn om je onderzoeksvragen te beantwoorden en hypothesen te toetsen. Als je iets wilt zeggen over samenhang tussen nominale variabelen dan verwijzen we je naar hoofdstuk 8 van deze syllabus; voor toetsen voor intervalvariabelen naar hoofdstuk 9.

67 HOOFDSTUK 7 De normaalverdeling, toetsen en significantie 7.1 De normale verdeling De normaalverdeling (of normale verdeling) is de meest gebruikte kansverdeling in de statistiek. Dat is niet zo gek, want veel interval- en ratiovariabelen volgen een normaalverdeling 1. Wat dat betekent zullen we uitleggen aan de hand van een voorbeeld, namelijk de verdeling van de lengte van krantenartikelen die over Israël en Palestina gaan (een ratiovariabele). Als je kijkt naar de lengte van krantenartikelen die over Israël en Palestina gaan, bijvoorbeeld in 2010, dan krijg je een bepaalde verdeling van de lengte van de artikelen. Je kunt de gemiddelde lengte uitrekenen en kijken hoe de spreiding om dat gemiddelde is. Ligt de lengte van de meeste artikelen dicht bij het gemiddelde of zijn er veel uitschieters, zowel veel kortere als veel langere artikelen? Het populatiegemiddelde het rekenkundig gemiddelde van alle artikelen - geven we in de statistiek het symbool µ (spreek uit: mu; zie ook tabel 6.1). Als we 100 artikelen bekijken, dan kunnen we op basis van deze steekproef inschatten wat de gemiddelde lengte van een artikel is. Het steekproefgemiddelde x (x- gemiddeld) dient dan ook als schatting van µ. De spreiding wordt in de statistiek de variantie genoemd, en wordt genoteerd met het symbool σ 2 (sigma-kwadraat) als we het over de populatie 1 Soms is dat niet het geval. In praktijk wordt, bij grote steekproeven, toch vaak uitgegaan van een normaalverdeling en de bijbehorende toetsen (die in ** hoofdstuk 4 en 5 worden besproken), zolang er geen enorme uitschieters (of uitbijters) in je data zitten. Dit kan je bekijken door een scatterplot (puntenwolk) van je data te maken. Als je geen gekke uitbijters ziet, en de steekproef is groot, dan kun je meestal behoorlijk betrouwbare toetsen gebruiken die gebaseerd zijn op de normaalverdeling. Als er wel een paar gekke uitschieters in je data zitten, zou je kunnen overwegen om die uit je data te halen en alsnog een toets voor normaal verdeelde variabelen te gebruiken. 67

68 68 De normaalverdeling, toetsen en significantie Figuur 7.1: Voorbeelden van normaalverdelingen hebben, en s2 als het om een steekproef gaat. De steekproefvariantie s 2 dient als een schatting van de populatievariantie σ 2. Die wordt berekend door van elk artikel in de steekproef de afstand tot het gemiddelde te berekenen, en die afstanden te kwadrateren en op te tellen. Vervolgens wordt de gemiddelde afstand berekend, door de optelling te delen door het aantal artikelen minus één 2. In formule is dit: variantie : s 2 (xi x) 2 = n 1 (7.1) De variantie kun je standaardiseren. Men spreekt dan van de standaarddeviatie oftewel de standaardafwijking. De standaardafwijking is de wortel ( ) van de variantie. De normale verdeling heeft altijd de vorm van een klok (in het Engels wordt die dan ook wel de bell curve genoemd), met een bepaald gemiddelde en een 2 Je deelt niet door het totale aantal, maar door het aantal -1. Dit heeft te maken met het aantal vrijheidsgraden. Het aantal vrijheidsgraden wordt gevormd door het aantal vrij te bepalen getallen voordat je op een vooraf bepaald - gemiddelde uit moet komen. Alle getallen mogen verschillen maar het laatste getal dat je kiest ligt vast. Vergelijk het met een voetbalopstelling. De eerste persoon die komt mag nog kiezen op welk van de 11 beschikbare posities hij/zij gaat spelen, maar de laatste heeft geen keuze meer. Het aantal vrijheidsgraden in een dergelijke geval is daarom 10.

69 7.2 De standaardnormale verdeling 69 bepaalde standaarddeviatie. De klok is eigenlijk het resultaat van een histogram van frequenties: het gemiddelde komt het vaakst voor, wat resulteert in een hoge balk, en hoe verder je van het gemiddelde komt, zowel rechts als links daarvan, hoe minder vaak die waarden voorkomen (de balken worden dus steeds korter). Als je een lijn trekt door de frequentiebalken, dan krijg je een mooie normaalcurve. De kansen op bepaalde waarden kunnen in de vorm van oppervlakken worden afgelezen. Figuur 7.1 laat een aantal normaalverdelingen zien. Hoewel de vormen van de verschillende curves verschillend zijn, hebben ze heel veel elementen gemeen. Belangrijk is dat de kans op het gemiddelde het grootste is (de klok is daar op zijn top). Daar komt bij dat de curves symmetrisch zijn, oftewel de kans op een waarde onder het gemiddelde is precies even groot als een waarde boven het gemiddelde. Bovendien is de kans op extreme waarden, zowel onder als boven het gemiddelde het kleinst. De rode, groene en blauwe curve hebben allemaal hetzelfde gemiddelde, namelijk 0. De standaarddeviaties van de curves zijn echter verschillend, wat te maken heeft met de verdeling van de individuele metingen waaruit iedere curve is opgebouwd. Hoe meer zij onderling verschillen, hoe verder ze ook van het gemiddelde af kunnen komen te liggen. In de figuur is de standaarddeviatie van de rode normaalverdeling duidelijk kleiner dan die van de blauwe verdeling. De stijlheid van de rode lijn laat immers zien dat de meeste waarnemingen rondom het gemiddelde 0 liggen. Als je kijkt naar de oppervlakken, die de kansen op bepaalde waarden aangeven, zie je ook dat de kans op een individuele waarde van 1 of hoger veel groter is in de blauwe verdeling dan in de rode verdeling. Een kleinere standaarddeviatie betekent dus dat er minder, en minder extreme, afwijkingen van het gemiddelde zijn. Een normale verdeling kan ontelbaar veel verschillende gemiddelden en standaarddeviaties hebben, afhankelijk van de (interval- of ratio)variabele waarover we het hebben. Eigenlijk willen we in z n algemeenheid iets kunnen zeggen over de kans dat bepaalde waarden kunnen voorkomen in de populatie. Daarvoor moeten we de desbetreffende normaalverdeling vertalen naar een standaardnormaalverdeling. De volgende paragraaf gaat daarover. 7.2 De standaardnormale verdeling De standaardnormaalverdeling is een normale verdeling die wordt gekenmerkt door een gemiddelde (µ) van 0 en een standaardafwijking (σ) van 1 Figuur 2). De horizontale as laat de zogenaamde z-waarden zien. Als z gelijk is aan nul dan zitten we op het gemiddelde (µ) van de standaardnormaalverdeling. Als z = 1 dan zitten we op 1 standaarddeviatie boven het gemiddelde, en z = 1 betekent dat we op 1 standaarddeviatie beneden het gemiddelde zitten. Als je bijvoorbeeld wilt weten hoe groot de kans is dat een steekproefeenheid uitkomt tussen z = 0 en z = 1, dan zie je figuur 2 dat die 34,1% bedraagt (de oppervlakte van de klok tussen 0 en 1). Als je wilt weten wat de kans is dat

70 70 De normaalverdeling, toetsen en significantie Figuur 7.2: Normaalverdeling en standaardafwijkingen een steekproefeenheid uitkomt tussen z = 1 en z = 1, dan is dat precies het dubbele vanwege het symmetrische karakter van de klok. Dat is in dit voorbeeld dus 2 34, 1%, oftewel 68, 2%. Als we willen weten hoe groot de kans is dat een steekproefeenheid meer dan 1 standaarddeviatie afwijkt van µ (dus de kans op een z groter dan 1 of kleiner dan -1), dan is die kans gelijk aan de oppervlakte onder de klok vanaf een z van -1 en kleiner plus de oppervlakte onder de z van 1 of groter. figuur 2 kunnen we aflezen dat dat gelijk is aan: 2 (13, 6 + 2, 1 + 0, 1), oftewel 31.6% Toetsen van een hypothese m.b.v. een normaalverdeling Je kunt de normaalverdeling gebruiken bij het toetsen van theorieën. We kijken bijvoorbeeld naar de lengte van artikelen die gaan over het Israël Palestina conflict. Men zegt dat de lengte van zulke artikelen over het algemeen 450 woorden is (de theorie ). De standaarddeviatie bedraagt 25 woorden. Om erachter te komen of dit gemiddelde écht geldt voor de populatie, stellen we een nulhypothese op. In de nulhypothese gaan we er altijd vanuit dat eventuele verschillen die we vinden gebaseerd zijn op toeval. In dit geval stellen we dat het populatiegemiddelde gelijk is aan 450 woorden, zoals de theorie zegt. Voor interval- en ratiovariabelen staat er altijd een = -teken in de nulhypothese. 3 De kansen onder de belcurve tellen altijd op tot 1 (of 100%). In dit voorbeeld tellen de kansen op tot 99,8% (de kans op een afwijking van 1 standaarddeviatie of minder (68,2%) plus de kans op een afwijking van 1 standaarddevip een afwijking van 1 standaarddeviatie of meer (31,6%). Dit komt door afronding van de kanspercentages.