8. VAN WAARNEMING NAAR GETAL 8.1 Inleiding Het doen van empirisch onderzoek betekent het doen van waarnemingen. Deze waarnemingen kunnen van diverse aard zijn: het gedrag van mensen kan geobserveerd worden, verschijnselen in teksten of gesprekken kunnen onderwerp van onderzoek zijn, vragenlijsten of toetsen kunnen afgenomen worden, et cetera. Nadat de waarnemingen gedaan zijn, moeten deze op een systematische wijze beschreven en geanalyseerd worden. In deze syllabus gaan we met name in op de wijze van analyse. Een goede analyse leidt tot een reductie van de gegevens, zodat het relatief eenvoudig is om tot beslissingen te komen aangaande de vraagstelling. Het doel van de analyse van gegevens is dus reductie. Zo is het gemiddelde en een maat voor de spreiding van de gegevens een adequate beschrijving (onder de aannamen dat gegevens normaal verdeeld zijn, en dat gemeten is op intervalniveau; zie deel I van deze syllabus) van alle verzamelde gegevens. Het is dan niet nodig een compleet overzicht van de gegevens te geven; het gemiddelde en een maat voor de spreiding geven net zoveel informatie, maar met veel minder data (datareductie!). Alle gegevens, om het even of het er nu 10, 100 of 16500 zijn, zijn met twee grootheden (getallen) te beschrijven. Bij de analyse van gegevens wordt vaak een onderscheid gemaakt tussen kwalitatieve dan wel kwantitatieve analyse, en daar van afgeleid kwalitatief dan wel kwantitatief onderzoek. Deze syllabus is voornamelijk gericht op het laatste. De reden hiervoor is niet zozeer dat kwalitatief onderzoek van minder waarde zou zijn, integendeel; maar de reden is dat in onze ogen het onderscheid tussen beide typen meer een kwestie is van retoriek dan van principiële verschillen. Alles draait hierbij om de vraag hoe de waarnemingen gerepresenteerd worden. Representeren we de waarnemingen in woorden, dan is er sprake van een kwalitatieve analyse, representeren we de waarnemingen in getallen, dan is er sprake van kwantitatieve analyse. Echter, wanneer we bij een kwalitatieve analyse aan hetzelfde type waarnemingen die dezelfde verbale code hebben telkens een code in de vorm van een getal toekennen, dan hebben we opeens een kwantitatieve analyse. Het voordeel van het toekennen van getallen die een betekenis kunnen hebben op nominaal, ordinaal, interval- of rationiveau is dat hiermee de verzamelde gegevens overzichtelijk samengevat (reductie) kunnen worden, waardoor het relatief eenvoudig is om zinvolle conclusies te trekken op basis van deze gegevens. 8.2 Voorbeeld 1: Een toets Iedereen kent wel toetsen, verzamelingen items over een bepaald onderwerp, waarmee beoogd wordt de kennis en vaardigheden van respondenten met betrekking tot dit onderwerp te meten. Repetities, tentamens, examens, intelligentietests, rijexamens, geheugen-, reken-, taaltoetsen, et cetera. Allemaal voorbeelden van toetsen of tests. De items uit de toets worden beoordeeld en later gesommeerd tot een totaal- of toetsscore. Als we ervan uitgaan dat elk item goed of fout beantwoord kan worden, dan zouden vijf respondenten op drie items de volgende antwoorden gegeven kunnen hebben.
128 Item Respondent A B C 1 G G F 2 G G F 3 G F G 4 G G G 5 G F F Als we aan een goed antwoord de code 1 en aan een fout antwoord de code 0 toekennen, kunnen we deze matrix ook weergeven in getallen. Item Respondent A B C 1 1 1 0 2 1 1 0 3 1 0 1 4 1 1 1 5 1 0 0 Beide representaties van de antwoorden zijn volstrekt identiek, en kunnen makkelijk tot elkaar herschreven worden als we de betekenis van de codes kennen. De keuze voor de codes, 1 voor een goed antwoord en 0 voor een fout antwoord, is an sich volstrekt arbitrair, we hadden net zo goed kunnen kiezen voor respectievelijk +33.2 en -178.27 of welke andere twee verschillende getallen dan ook. Het zijn in eerste instantie slechts nominale categorieën en de twee verschillende getallen dienen enkel om goed en fout uit elkaar te houden. Alleen heeft de keuze voor 1 en 0 een aantal voordelen, waaronder de eenvoud van het berekenen van de totaalscore op de toets. Dat is bij de hier gebruikte codering een kwestie van het tellen van het aantal enen: respondent 1 heeft de items A en B correct beantwoord en item C fout, zijn toetsscore is daarom 2; respondent 2 heef t ook zowel item A als item B correct beantwoord, wat eveneens een totaalscore van 2 oplevert (merk op dat wanneer de scores opgeteld worden, er vanuit gegaan wordt dat de waarnemingen de antwoorden tenminste op intervalniveau gerepresenteerd zijn). Evenzo is het in één blik duidelijk dat item A door alle vijf de respondenten correct beantwoord is, item B door drie en item C beide door twee van de vijf respondenten. Nu is de onderzoeker in sommige gevallen niet tevreden met een onderscheid tussen goed en fout, hij wil gradaties aanbrengen: half goed, driekwart goed, het is wel fout maar er zit toch ook wel iets in, een kwart goed. Ook dergelijke gradaties laten zich eenvoudig in getallen vertalen: we kunnen eenvoudig de codes 1.0, 0.5, 0.75, 0.25 of 0.0 aan de verschillende typen antwoorden toekennen. Samenvattend: het gedrag van respondenten (i.e. het afleggen van de test) resulteert in een aantal responsies, welke beoordeeld kunnen worden. De oordelen kunnen vervolgens met behulp van getallen weergegeven worden (itemscores), die zoals we zullen zien op verschillende manieren samengevat kunnen worden.
HOOFDSTUK 8: VAN WAARNEMING NAAR GETAL 8.3 Voorbeeld 2: Vragen uit een schriftelijke enquête Er is een vragenlijst ontwikkeld waarmee men de invloed van verschillende media op de meningsvorming wil onderzoeken. Twee van de vragen luiden: 1 Hoeveel tijd besteedt u per dag gemiddeld aan: a. het lezen van de krant min b. het lezen van opiniërende weekbladen min c. het luisteren naar actualiteiten en achtergronden op de radio min d. het kijken naar actualiteitenprogramma's op de televisie min 2 Geef aan welke informatiebron u het meest objectief vindt (geef een 1 aan de meest objectieve berichtgeving, een 2 aan die daarna het meest objectief is, et cetera, en een 7 aan de minst objectieve; N.B. elk cijfer mag slechts één keer gebruikt worden) a Het nieuws op de radio b actualiteitenprogramma's van de omroepen op de radio c algemeen nieuws in de krant d achtergrondartikelen in de krant e achtergrondartikelen in weekbladen f Het journaal op de televisie g actualiteitenprogramma's van de omroepen op de televisie cijfer De eerste vraag bestaat uit vier variabelen: de tijd dat de krant gelezen wordt, de tijd die aan weekbladen besteed wordt, de hoeveelheid tijd waarin naar actualiteiten- en achtergrondprogramma's op de radio geluisterd wordt en de tijd waarin naar actualiteitenprogramma s op de televisie gekeken wordt. De matrix met antwoorden voor deze vraag kan er dus (bij voorbeeld) als volgt uit zien. De eerste respondent besteedt tien minuten per dag aan de krant en vijf minuten aan weekbladen, luistert tien minuten naar de radio en kijkt een half uur naar de tv. Aangezien we zonder al te veel problemen aan kunnen nemen dat de gegevens op intervalniveau 1 1 Het is verstandig om de definities en de voorbeelden van de verschillende meetniveaus (zie Deel I van deze syllabus) constant paraat te hebben. Dan zal je duidelijk zijn dat hoewel we hier de aanna-
130 gerepresenteerd zijn, kunnen we eenvoudig de totale tijdsbesteding per respondent, de gemiddelde tijdsbesteding per onderdeel (krant, weekblad, radio en televisie) maar ook het overall gemiddelde (hoeveel tijd wordt gemiddeld besteed aan informatie over actuele zaken?) uitrekenen. (In oudere versies van SPSS (SPSS 12.0) kan een variabelenaam niet meer dan acht posities/tekens innemen. Dan wordt de naam een variabele afgekort (bijvoorbeeld: respon, of respnr, resp, ppnr, etc.). De tweede vraag is een vraag naar de rangorde van de verschillende typen artikelen/programma's (merk op dat de gegevens hier op ordinaal niveau gerepresenteerd zijn). Deze rangorde heeft geen absolute betekenis, maar de scores/cijfers kunnen feitelijk alleen geïnterpreteerd worden in samenhang met elkaar; de score 4 zegt op zich niets, het zegt alleen maar dat dát onderdeel in vergelijking met de andere onderdelen op de vierde plaats komt. Hetzelfde geldt voor de andere waarden, ook die hebben een betekenis in relatie tot elkaar. Een representatie van de gegevens zou kunnen zijn. Respondent 1 meent dat het radiojournaal het meest objectief is, en dat actualiteitenprogramma's van de omroepen op de televisie de meest gekleurde berichtgeving verzorgen, et cetera. Doordat we naar rangordes gevraagd hebben, is het niet informatief om gemiddelden uit te rekenen. De matrix kan alleen vereenvoudigd worden door een frequentieverdeling van de scores per onderdeel. Een fictief voorbeeld voor het oordeel van 47 respondenten over de objectiviteit van de actualiteitenprogramma's van de omroepen op de radio is hieronder weergegeven. me makkelijk maken, we dat misschien wel te makkelijk doen. Waarom is deze aanname hier te makkelijk?
HOOFDSTUK 8: VAN WAARNEMING NAAR GETAL Vraag_2a Frequency Percent Valid Percent Cumulative Percent Valid 1 18 38.3 38.3 38.3 2 9 19.1 19.1 57.4 3 9 19.1 19.1 76.6 4 3 6.4 6.4 83.0 5 4 8.5 8.5 91.5 6 3 6.4 6.4 97.9 7 1 2.1 2.1 100.0 Total 47 100.0 100.0 Van de 47 ondervraagde personen vinden 18, of wel 38.3% het nieuws op de radio het meest objectief. Als we de scores 1 tot en met 3 objectief noemen, dan vindt 76.6% (of afgerond 77%) van de ondervraagden het nieuws op de radio objectief. Dezelfde informatie kan vaak op veel verschillende manieren weergegeven worden. Wanneer we deze informatie in een zogenaamd histogram weergeven, dan ziet het er zo uit (N: aantal respondenten; C: cijfer): N C 18 1³ 38.3 9 2³ 19.1 9 3³ 19.1 3 4³ 6.4 4 5³ 8.5 3 6³ 6.4 1 7³ 2.1 Beide manieren van representatie van de gegevens geven dezelfde informatie. In veel gevallen is een dergelijke genuanceerde weergave van de gegevens echter niet noodzakelijk. De onderzoekers zouden zich bij voorbeeld kunnen beperken tot objectieve nieuwsweergave, waarbij alleen de codes 1 en 2 als objectief beschouwd worden en de rest als gekleurd. Hier wordt dan een keuze gemaakt door de onderzoekers, die zeker een inhoudelijke argumentatie behoeft. De matrix ziet er dan als volgt uit.
132 8.4 Voorbeeld 3: Een hardop-denk-protocol Om inzicht te krijgen in processen die een rol spelen tijdens het schrijven wordt respondenten vaak gevraagd hardop te denken tijdens het uitvoeren van de opdracht. Dit wordt opgenomen, geprotocolleerd en geanalyseerd. De verschillende uitspraken van de respondent worden als uitingen van processen gezien en als zodanig getypeerd. Hiervoor wordt een classificatieschema gebruikt. Een cruciale stap is natuurlijk de constructie van zo'n classificatieschema. In feite is dat een brok geoperationaliseerde schrijfprocestheorie. Uit de theorie moet volgen dat proces X onderscheiden moet worden van Y en dat dit onderscheid nuttig en relevant is; het gaat om (een deel) van de begripsvaliditeit. Aan de constructie van een classificatieschema besteden we hier ongeacht het eminente belang geen aandacht; we gaan ervan uit dat dit gegeven is en beperken ons tot de met behulp van zo'n schema verkregen getallen. Hieronder is een klein stukje van een schrijfprotocol weergegeven, met daarnaast de classificatie in processen en de codes die deze hebben (merk op dat de codes hier een volstrekt nominale betekenis hebben). Protocol Proces Code (... leest opdracht...) lezen van de opdracht 1... wat bedoelen ze hiermee? nu eerst maar zelfinstructie over lezen van de opdracht 4 eens verder lezen (...) (... leest opdracht...) 1 wat weet ik nu allemaal... zelfinstructie over selecteren, relateren 6 of ordenen laat ik dat allemaal eerst eens ordenen, zelfinstructie over aanpak 13 eerst iets over de aanleiding; het moet gaan over werkeloosheid, tja (..) parafraseren van taakeisen 15 wat wil ik daar over zeggen? zelfinstructie over generen van ideeën 17 moet het gaan over werkeloosheid? in het zelfinstructie over aanpak 13 algemeen, over een specifieke groep? Tja,.. oh ja, een citaat wat werd ook al...(eh)... zelfinstructie over herlezen opdracht 5 eerst even kijken wat gezegd wordt over werkeloosheid bij jongeren (...), ja, ja. Nou, laat ik eerst eens opschrijven wat er in parafraseren ideeën 20 moet, maar dan moet ik wel een beslissing nemen over het onderwerp. Algemeen of specifiek, of algemeen en later zelfinstructie over aanpak 13 specifiek? (...) Ja, laat ik dat maar doen, zelfinstructie over aanpak 13 dan ordent het ook makkelijker (..). Nu eerst zelfinstructie over selecteren, relateren 6 de volgorde dus. of ordenen (2x) 6
HOOFDSTUK 8: VAN WAARNEMING NAAR GETAL We kunnen de codes op twee verschillende manieren weergeven: in de oorspronkelijke codes en zonder verlies aan informatie in enen en nullen. Of als: Welk van beide representaties op een bepaald moment de voorkeur verdient, is afhankelijk van het type analyse en kan niet op voorhand gezegd worden. Wat belangrijk is, is dat dezelfde informatie op verschillende manieren weergegeven kan worden. Nu lijkt de stap van observaties naar getallen welhaast een triviale. Maar het is de eerste stap om gegevens te reduceren. Onderzoekers lieten bij voorbeeld 10 leerlingen hardop denken tijdens het schrijven en onderscheidden bij de analyse 61 verschillende processen; het resultaat bestond uit 5881 benoemde processen. Dat is niet meer te behappen voor een normaal mens. Maar maak er een frequentieverdeling van en het resultaat lijkt in elk geval enigszins overzichtelijk. Kijk maar:
134 (elk* representeert 6 cases) code N (aantal observaties) 1.000 71 :************ 2.000 87 :*************** 3.000 177 :****************************** 4.000 11 :** 5.000 37 :******* 6.000 27 :***** 7.000 101 :***************** 8.000 184 :******************************* 9.000 41 :******* 10.00 131 :********************** 11.00 152 :************************** 12.00 47 :******** 13.00 81 :************** 14.00 119 :******************** 15.00 41 :******* 16.00 23 :**** 17.00 29 :***** 18.00 121 :********************* 19.00 78 :************* 20.00 213 :************************************ 21.00 140 :************************ 22.00 48 :******** 23.00 159 :*************************** 24.00 67 :************ 25.00 60 :********** 26.00 20 :**** 27.00 75 :************* 28.00 108 :****************** 29.00 94 :**************** 30.00 26 :***** 31.00 282 :*********************************************** 32.00 147 :************************* 33.00 164 :**************************** 34.00 244 :***************************************** 35.00 95 :**************** 36.00 112 :******************* 37.00 152 :************************** 38.00 21 :**** 39.00 275 :********************************************** 40.00 114 :******************* 41.00 79 :************** 42.00 120 :******************** 43.00 53 :********* 44.00 93 :**************** 45.00 137 :*********************** 46.00 165 :**************************** 47.00 189 :******************************** 48.00 86 :*************** 49.00 127 :********************** 50.00 164 :**************************** 51.00 115 :******************** 52.00 14 :*** 53.00 133 :*********************** 54.00 117 :******************** 55.00 99 :***************** 56.00 4 :* 57.00 59 :********** 58.00 13 :*** 59.00 5 :* 60.00 2 :* 61.00 4 :*
HOOFDSTUK 8: VAN WAARNEMING NAAR GETAL Deze weergave van de hardloopdenkprocessen is een weergave van nominale gegevens. De code 1 betekent het lezen van de opdracht en komt 71 keer voor; de code 4 betekent zelfinstructies met betrekking tot het lezen van de opdracht en komt 11 keer voor, et cetera. Door de truc van het toekennen van getallen aan categorieën (c.q. procesnamen/processen) zijn we in staat snel een dergelijk overzicht van de gegevens te maken. We zien nu haast in één oogopslag welke processen vaak voorkomen (bij voorbeeld: 31 en 39) en welke processen zeldzaam zijn (bij voorbeeld: 56 en 59). Als we om wat voor reden dan ook alleen geïnteresseerd zijn in het eerste proces het lezen van de opdracht, kunnen we ervoor kiezen om dit proces de code 1 te geven en alle andere processen de code 0. Dat zou een verdeling opleveren als: (elke * representeert 118 cases) Code N (aantal cases/processen)) 0.000 5810 : ************************************************** 1.000 71 : * Dus (71 / 5881) * 100 = 1.21% van de processen is gecategoriseerd als proces 1. Op welke wijze gegevens gerepresenteerd worden, is afhankelijk van wat het handigste is. In principe is het natuurlijk lood om oud ijzer. 8.5 De normaalverdeling Wanneer gegevens gerepresenteerd zijn op intervalniveau, dan is er heel vaak wat meer te zeggen over de verdeling van die gegevens. Het is namelijk zo dat scores rond het gemiddelde vaker voorkomen dan scores die verder van het gemiddelde weg liggen; hoe verder we van het gemiddelde komen, hoe minder scores we tegen komen. In de volgende figuur is dat grafisch weergegeven. Het betreft een voorbeeld van de verdeling van scores op een oud tentamen van dit vak.
136 (Elke* representeert 3 cases) Code N (aantal respondenten) 0 1 : * 1 2 : * 2 6 : ** 3 8 : *** 4 14 : ***** 5 23 : ******** 6 58 : ******************** 7 80 : *************************** 8 82 : **************************** 9 101 : ********************************** 10 117 : *************************************** 11 120 : **************************************** 12 113 : ************************************** 13 86 : ***************************** 14 68 : *********************** 15 48 : **************** 16 29 : ********** 17 18 : ****** 18 9 : *** 19 7 : *** 20 3 : * 21 1 : * 22 0 : We zien het principe, dat de gemiddelde score (11) het meest voorkomt (120 keer) en dat hoe verder we van het gemiddelde weggaan hoe minder frequent een score voorkomt in de bovenstaande figuur mooi geïllustreerd. Ook zien we dat de verdeling mooi symmetrisch is rond het gemiddelde. Een dergelijke verdeling komen we bijzonder vaak tegen. Denk maar eens aan variabelen als lengte, maar ook aan variabelen als intelligentie, rekenvaardigheid, taalvaardigheid, het aantal leerlingen in klassen, etc. Als we van de scores op dergelijke variabelen een frequentieverdeling maken, dan zal deze in veel gevallen hetzelfde type verdeling hebben als geïllustreerd in de figuur hierboven: een mooie klokvorm. Van de kenmerken van deze verdeling wordt zo vaak gebruik gemaakt dat we er een naam voor hebben: de normaalverdeling. Dat wil zeggen: bij veel van de statistische procedures die in deze syllabus aan de orde komen, wordt de aanname gedaan dat de scores in de populatie normaal verdeeld zijn. Dat wil niet direct zeggen dat de scores in de steekproef die uit een populatie genomen is ook meteen dezelfde mooie klokvorm hebben. Zeker als de steekproef niet al te groot is (minder dan 100 waarnemingen), kan de verdeling er behoorlijk anders uitzien. Dat wil echter nog niet zeggen dat de aanname dat de verdeling in de populatie normaal is onjuist zou zijn; daarvoor is in veel gevallen het aantal waarnemingen domweg te klein. Kijk eens naar de volgende figuur waarin de opstelscores van 50 leerlingen gerepresenteerd zijn.
HOOFDSTUK 8: VAN WAARNEMING NAAR GETAL Cijfer N (aantal leerlingen) 4.0 0 : 4.5 1 : * 5.0 5 : ***** 5.5 14 : ************** 6.0 7 : ******* 6.5 4 : **** 7.0 15 : *************** 7.5 3 : *** 8.0 1 : * De bovenstaande verdeling van opstelcijfers is beslist niet normaal (waar is immers de mooie klokvorm?). De verdeling heeft zelfs twee toppen (bij de cijfers 5.5 en 7.0) en zou daarom bimodaal of tweetoppig genoemd kunnen worden. Echter, een dergelijke verdeling bij dit aantal observaties hoeft geen enkele reden te zijn om aan de normaliteit van schrijfvaardigheid van leerlingen (op een bepaald moment in het onderwijs) te twijfelen. Let wel: hoeft niet; als er op theoretische gronden redenen zijn om aan te nemen dat de verdeling in de populatie niet normaal is, dan is het natuurlijk onverstandig om deze aanname wel te maken. Op de eerste bladzijde van dit deel van de syllabus is een matrix met de scores van tien studenten op tien meerkeuze-tentamenvragen weergegeven. Op elke regel staan de antwoorden van een student. De eerste student heeft bij vraag 1 (V1) gekozen voor alternatief 2, bij vraag 2 (V2) ook voor alternatief 2 en bij vraag 3 (V3) voor alternatief 1, etc. Deze syllabus draait om de analyse van dergelijke datamatrices, waarbij het in principe onbelangrijk is wat de scores nu precies representeren. Er wordt een overzicht gegeven van een veelheid aan technieken die ingezet kunnen worden om dergelijke matrices te analyseren, zodat een verantwoorde reductie van gegevens mogelijk is en goed beredeneerde beslissingen genomen kunnen worden. De genoemde datamatrix zou een representatie kunnen zijn van enquêteantwoorden, maar ook van de antwoorden op tentamens (wat het feitelijk is), of een classificatie van de proefpersonen op een tiental kenmerken, maar ook een combinatie van gezondheidsgegevens, taalvaardigheidgegevens en wat al niet meer. Wat de scores precies representeren is voor de inhoud van deze syllabus niet van belang. Wanneer we over items spreken, zou daar net zo goed tijdregistratie van het tandenpoetsgedrag, aantal gerookte sigaretten of aantal bezoeken aan de groenteboer, of wat dies meer zij voor ingevuld kunnen worden. In de praktijk van het doen van onderzoek is de aan het begin van deze alinea gedane uitspraak natuurlijk volstrekte nonsens. Daar gaat het juist om wat de scores representeren en of de scores een goede weerspiegeling zijn van de werkelijkheid. Met andere woorden: het gaat in eerste en laatste instantie altijd om de validiteit, díe moet centraal staan. Alleen, om inzicht te krijgen in methoden om gegevens te analyse-
138 ren waarvan de resultaten aanwijzingen kunnen geven omtrent de validiteit laten we dit aspect, waarvan het belang niet vaak genoeg onderstreept kan worden, even buiten beschouwing. 8.6 Opgaven In werkelijkheid representeren de scores op het eerste blad van dit deel van de syllabus de scores van 10 studenten op een deel van het tentamen Methoden van communicatieonderzoek met 10 meerkeuzevragen. Weergegeven zijn de antwoorden van de studenten per vraag. Voor het gemak zijn de antwoorden omgecodeerd, waarbij de lettercodes (A, B, C,..., etc.) vervangen zijn voor cijfers (1 voor A, 2 voor B, 3 voor C, etc.). A. Voer de scores in in SPSS, en save deze file als tentamen1.sav. B. Maak een frequentieverdeling van de scores op de items; C. Hercodeer de antwoorden zodat een -1- staat voor een goed antwoord, en een -0- voor een fout antwoord. Gebruik hiervoor de volgende sleutel (G_A: Goede antwoord): Vraag G_A Vraag G_A Vraag G_A Vraag G_A Vraag G_A 1 1 3 3 5 4 7 1 9 3 2 2 4 1 6 2 8 2 10 3 D. Maak een frequentieverdeling van de scores op de items, en laat ook het gemiddelde per item berekenen. E. Maak een nieuwe variabele ( totaal ) die aangeeft hoeveel vragen elke student goed beantwoord heeft. F. Maak hiervan een frequentieverdeling, en bereken het gemiddeld aantal correct beantwoorde vragen.