Nu wat (lees)werk doen, geeft dat later een goed pensioen?

Transcriptie

1 Nu wat (lees)werk doen, geeft dat later een goed pensioen? Een onderzoek naar de invloed van leesvaardigheid bij het vinden en begrijpen van informatie in een startbrief Xynthia de Graaff Communicatie- en Informatiewetenschappen Universiteit Utrecht Eindwerkstuk communicatiestudies Begeleider: Louise Nell

2 Samenvatting Dit onderzoek houdt zich bezig met de startbrief, die werknemers krijgen bij indiensttreding van een nieuwe werkgever. In dat geval worden de werknemers namelijk deelnemer bij een pensioenregeling en krijgen ze van de pensioenuitvoerder een startbrief. Uit diverse onderzoeken blijkt dat de startbrief onbegrijpelijk en onduidelijk is (Lentz & Pander Maat, 2013). Er zijn al enkele richtlijnen opgesteld om hier verandering in te brengen (SZW, 2012; AFM; 2012). Dit is echter tot op heden nog niet gelukt (Lentz & Pander Maat, 2013). In dit onderzoek worden twee versies van een startbrief van Zwitserleven onderzocht. Dit zijn een PDF-versie en een klikmodel. Er wordt gekeken naar de invloed van leesvaardigheid op het vinden en begrijpen van informatie in de twee versies van de startbrief. Aan dit onderzoek hebben honderd respondenten deelgenomen, die ieder vijf schriftelijke vragenlijsten (financiële kennistest, woordenschattest, pensioenkennistest en twee cloze-testen) hebben gevuld en één mondelinge vragenlijst (een begripstest) aan de hand de startbrief hebben beantwoord. Als eerste is gekeken of er een samenhang is tussen de woordenschattest en de cloze-testen, aangezien deze testen de leesvaardigheid zouden meten. Deze samenhang bestaat wel degelijk. Vervolgens is gekeken of respondenten die hoog scoren op de woordenschattest en/of cloze-testen ook hoog scoren op het vinden en begrijpen van informatie. Dit blijkt ook zo te zijn. Al lijkt er het erop dat bij het vinden van informatie ook nog andere aspecten van belang zijn. Daarnaast blijkt er een samenhang te zijn tussen het vinden en begrijpen van informatie in een startbrief. Dit betekent dat hoe meer informatie gevonden kan worden, hoe beter die informatie te begrijpen is. De vorm waarin de informatie wordt aangeboden maakt echter geen verschil. Het maakt dus niet uit of er een PDF-versie of klikmodel wordt gebruikt. Er zijn nog wel enkele aanbevelingen, waarmee de startbrief verbeterd zou kunnen worden. Een voorbeeld hiervan is minder gebruik van vakjargon of het maken van een kortere startbrief waarin alleen de echte basisinformatie staat zonder allerlei scenario s. 2

3 Inhoudsopgave Samenvatting 2 H1. Inleiding 5 H2. Theoretisch kader Pensioencommunicatie Vindbaarheid en begrijpelijkheid Vindbaarheid Begrijpelijkheid Leesvaardigheid Tekstversies 10 H3. Probleemstelling 12 H4. Methode Proefpersonen Materiaal Woordenschattest Cloze-testen Tekstversies Begripstest Procedure 16 H5. Resultaten Scores van respondenten op de testen Woordenschattest Cloze-testen Begripstest Verbanden tussen respondentkenmerken, woordenschattest, cloze-testen 20 en begripstest Verband tussen respondentkenmerken Verband tussen woordenschattest en cloze-testen Verband tussen begripstest en andere testen Vindscores PDF-versie Klikmodel Goedscores PDF-versie 23 3

4 Klikmodel Regressieanalyses Vindscores Goedscores 24 H6. Conclusie en discussie 26 H7. Bronnenlijst 29 Bijlagen: 1. Startbrief (PDF-versie) 2. Demografische gegevens 3. Financiële kennistest 4. Woordenschattest 5. Pensioenkennistest 6. ClozeP-test 7. ClozeD-test 8. Begripstest 9. Observatieformulier 4

5 H1. Inleiding Pensioen, daar kijk ik pas naar tegen de tijd dat ik eraan toe ben. Dit is een veel gehoorde uitspraak bij onderzoek naar pensioencommunicatie. Diverse respondenten hebben deze uitspraak of iets vergelijkbaars gedaan in dit onderzoek. Met name jongvolwassenen, die net beginnen met werken, zien op dit moment nog niet de noodzaak om zich bezig te houden met hun pensioen. Het duurt namelijk toch nog lang voordat ze pensioen krijgen. Daarnaast is de informatie die werkenden krijgen over het pensioen vaak niet te begrijpen en onduidelijk (Autoriteit Financiële Markten, 2010; Visser, Kloosterboer & Oosterveld, 2012). Bij werkenden leidt dit tot verkeerde verwachtingen over hun pensioen. Uit onderzoek is gebleken dat de verwachtingen van de meeste Nederlanders met betrekking tot de hoogte van hun pensioen niet overeenkomen met de daadwerkelijke hoogte van hun pensioen (Alessie, van Rooij & Lusardi, 2011). Daarom moet de pensioencommunicatie, met name de startbrief, aangepast worden. In de startbrief staat namelijk alle basisinformatie over het pensioen en de pensioenregeling en deze brief blijkt nog steeds onduidelijk en onbegrijpelijk te zijn (Lentz & Pander Maat, 2013). Om de startbrief te verbeteren zijn al door diverse instanties, zoals het Ministerie van Sociale Zaken en Werkgelegenheid (SZW) (2012) of de Autoriteit Financiële Markten (AFM) (2012), aanbevelingen gedaan of richtlijnen gegeven. Een voorbeeld van een aanbeveling is het geven van informatie die aansluit bij de informatiebehoefte en kenmerken van de deelnemer (SZW, 2012). Uit recent onderzoek is gebleken dat de aanbevelingen voor de startbrief nog niet goed zijn toegepast (Lentz & Pander Maat, 2013). In dit onderzoek worden twee verschillende versies van een startbrief van Zwitserleven, een pensioenverzekeraar, onderzocht op de vindbaarheid en begrijpelijkheid van informatie. Er wordt gekeken naar in hoeverre leesvaardigheid daar op van invloed is. Daarnaast worden respondentkenmerken meegenomen in het onderzoek, omdat deze wellicht een rol kunnen spelen bij het vinden en begrijpen van informatie. De respondenten worden verder zo evenredig mogelijk verdeeld over verschillende opleidingsniveaus en leeftijdscategorieën om de resultaten te kunnen generaliseren voor de gehele doelgroep. Uit dit onderzoek komen aanbevelingen, waarmee de startbrief nog meer zou kunnen worden verbeterd. In het komende hoofdstuk komt het theoretisch kader aan bod. Hierin wordt literatuur met betrekking tot pensioencommunicatie, vinden en begrijpen van informatie en leesvaardigheid besproken. In het derde hoofdstuk wordt de onderzoeksvraag besproken. Hierna komt de methode aan bod (hoofdstuk 4), waarop de resultaten volgen (hoofdstuk 5). Als laatste wordt de conclusie en discussie besproken (hoofdstuk 6). 5

6 H2. Theoretisch kader In het theoretisch kader worden inzichten en theorieën besproken met betrekking tot de (huidige) pensioencommunicatie (paragraaf 2.1), de vindbaarheid en begrijpelijkheid van informatie (paragraaf 2.2), de leesvaardigheid van mensen (paragraaf 2.3) en de verschillende tekstversies (paragraaf 2.4). 2.1 Pensioencommunicatie Uit onderzoek van de afgelopen jaren blijkt dat het communiceren van informatie met betrekking tot het pensioen nog altijd lastig is (Lentz & Pander Maat, 2013; Visser, Kloosterboer & Oosterveld, 2012; Autoriteit Financiële Markten, 2010). Wat een grote rol speelt, is dat de informatie nog steeds niet overzichtelijk en begrijpelijk genoeg is voor de deelnemers van pensioenregelingen. Daar moet verandering in komen, vandaar dat er op steeds meer verschillende manieren geprobeerd wordt om de informatie op een duidelijke wijze met de deelnemer te communiceren. Als mensen gaan werken bij een nieuwe werkgever worden ze deelnemer bij een pensioenregeling en krijgen ze van de pensioenuitvoerder een startbrief. Hierin staat de belangrijkste basisinformatie die ze moeten weten over de pensioenregeling zoals de mogelijkheden die men heeft bij de pensioenuitvoerder en de risico s die hierbij horen. De startbrief is een wettelijk verplicht document dat alle pensioenuitvoerders naar nieuwe deelnemers moeten sturen. Daarnaast wordt er jaarlijks een Uniform Pensioenoverzicht verstrekt en is er de website waarop allerlei informatie over het pensioen te vinden is. Aangezien veel deelnemers op dit moment nog niet erg gemotiveerd zijn om deze informatie zorgvuldig te lezen, is het van belang dat de online informatie gepersonaliseerd en geïndividualiseerd wordt. Zo ontvangt de deelnemer alleen informatie die voor hem of haar relevant is, waardoor hij of zij meer geprikkeld raakt om de informatie zorgvuldig te lezen (Hoeken et al., 2011). Verder komen er steeds meer richtlijnen om ervoor te zorgen dat de pensioencommunicatie effectiever wordt (Autoriteit Financiële Markten, 2012). De belangrijkste punten daarbij zijn dat de verstrekte informatie begrijpelijk, juist en volledig moet zijn, zonder dat er te veel vakjargon wordt gebruikt. Ook moet rekening gehouden worden met de voorkennis en ervaring van de deelnemer. Door gebruik te maken van deze richtlijnen zou de pensioencommunicatie moeten verbeteren. Echter, tot op heden is dat nog niet het geval. Dit onderzoek draagt bij het verbeteren van de pensioencommunicatie. 6

7 2.2 Vindbaarheid en begrijpelijkheid Om pensioencommunicatie effectiever te maken, is het dus belangrijk dat deze wordt begrepen door de deelnemer. Voordat de informatie kan worden begrepen, moet deze eerst worden gevonden. Vindbaarheid speelt daarom een belangrijke rol bij begrijpelijkheid Vindbaarheid Het vinden van de (juiste) informatie is altijd al een moeilijke opgave geweest. Dit is soms zelfs moeilijker dan het begrijpen van informatie (Lentz & Pander Maat, 2010; Sanders & Jansen, 2011). Hierdoor is het dus van belang dat de vindbaarheid van de informatie voor de deelnemers geoptimaliseerd wordt. Besseling en Blokhuis (2012, in Van Arcken, 2013) hebben onderzoek gedaan naar de startbrief van Zwitserleven. Uit hun onderzoek is gebleken dat het soms moeilijk is om bepaalde informatie te vinden in de startbrief. Zo staat informatie over één onderwerp verspreid in de brief. De lezers van de startbrief verwachten dat de informatie over een bepaald onderwerp bij elkaar staat, waardoor lezers niet verder zoeken als ze (een deel van) de informatie gevonden hebben. Dit was bijvoorbeeld het geval met de informatie over de risico s. Deze informatie stond zodanig verspreid in de brief dat het lastig was om alle informatie te verzamelen. Hierdoor kan het zijn dat deelnemers niet alle informatie goed begrijpen. Volgens Besseling en Blokhuis (2012, in Van Arcken, 2013) is de eenmaal gevonden informatie redelijk te begrijpen. In dit onderzoek wordt ook een startbrief van Zwitserleven gebruikt. Uit onderzoek van Lentz en Pander Maat (2013) is gebleken dat de vindbaarheid van informatie in het Uniform Pensioenoverzicht nog niet is geoptimaliseerd. De vindbaarheid van informatie wordt wel verbeterd door minder informatie te geven, maar waar precies welke informatie moet komen te staan is niet duidelijk. In het dagelijks leven speelt het vinden van specifieke, gewenste informatie ook een grote rol. Een voorbeeld hiervan is als men een bepaald recept zoekt in een kookboek. Het recept moet eerst gevonden worden in het boek, voordat het uitgevoerd kan worden. Dit geldt voor allerlei informatie. Eerst moet de informatie gevonden worden, voordat het kan worden gelezen, begrepen en gebruikt. Rouet en Coutelet (2008) hebben onderzoek gedaan naar de vindbaarheid van informatie. Uit hun onderzoek is gebleken dat leerlingen in de eerste jaren van de basisschool nog weinig zoekstrategieën hebben, maar de hoeveelheid zoekstrategieën van leerlingen ontwikkelen zich met de jaren. Al blijft het zelfs op latere leeftijd nog steeds erg moeilijk om in een complexe tekst specifieke informatie te zoeken over verschillende passages. Daarnaast hebben Rouet en Coutelet (2008) gevonden dat er een relatie is tussen het 7

8 kunnen vinden van relevante informatie in een complexe tekst en het kunnen begrijpen van een tekst. Uit de literatuur blijkt dat de nodige informatie nog niet goed genoeg kan worden gevonden. In dit onderzoek is daarom de vindbaarheid van informatie een van de aspecten waarnaar gekeken wordt om de pensioencommunicatie effectiever te maken Begrijpelijkheid Als de juiste informatie eenmaal gevonden is, is het ook belangrijk dat deze kan worden begrepen. Bij begrijpelijkheid gaat het namelijk om de effectiviteit en efficiëntie van het vinden, het interpreteren en het gebruiken van informatie (Sanders & Jansen, 2011). Volgens Kintsch (1998), zijn er drie niveaus van tekstbegrip. Dit zijn het oppervlakteniveau, het tekstbetekenisniveau en het situatiemodel. Deze niveaus volgen hiërarchisch op elkaar. Het eerste/tweede niveau moet afgerond worden, voordat verder kan worden gegaan met het tweede/derde niveau. Bij het eerste niveau, het oppervlakteniveau, kijkt de lezer naar de letterlijke zinnen van de informatie. Deze zinnen worden door de lezer ontleed in woorden. Deze letterlijke woorden en zinnen worden vervolgens een korte tijd onthouden. Bij het tweede niveau, het tekstbetekenisniveau, kent de lezer een betekenis toe aan de zinnen en woorden. In dit geval onthoudt de lezer het globale idee van de tekst. Bij het derde niveau, het situatiemodel, vult de lezer de betekenis die verkregen is in het tweede niveau aan met informatie uit het geheugen. Hierbij spelen (voor)kennis over het onderwerp, wereldkennis en kennis over de context een grote rol. Uiteindelijk zorgt dit voor een mentale representatie van de informatie in de tekst (Land, 2009; Zwaan & Rapp, 2006). Deze mentale representatie van bepaalde informatie kan verschillen per persoon, aangezien niet iedereen dezelfde kennis bezit en/of de informatie op een andere manier in combinatie brengt met de bestaande kennis. Dit geldt ook voor het begrijpen van pensioencommunicatie. Niet iedereen heeft namelijk dezelfde (voor)kennis, al is uit onderzoek van Lentz en Pander Maat (2013) gebleken dat pensioenkennis geen invloed heeft op het vinden en begrijpen van informatie in een pensioenoverzicht. Volgens hen zijn leesvaardigheid en opleiding wel van invloed bij het vinden en begrijpen van de pensioeninformatie. Uit hun onderzoek blijkt daarnaast dat op dit moment pensioencommunicatie een lage successcore heeft (Lentz & Pander Maat 2013). De successcore is een combinatie van een score voor het vinden van informatie en een score voor het begrijpen van informatie. De successcore van pensioencommunicatie is nu nog lager dan de successcore van medicijnbijsluiters, die over het algemeen ook vrij lastig zijn (Lentz & Pander Maat, 2013). De lage successcore van pensioencommunicatie ligt vooral aan het niet 8

9 goed begrijpen van de informatie, omdat de informatie nog steeds erg vaktechnisch is. Deze score is te verbeteren door veel (vaktechnische) informatie weg te halen en echt alleen de basisinformatie te noemen. Hierbij kan verwezen worden naar een website waar je de specifieke benodigde informatie voor jouw situatie kan vinden. Aan de begrijpelijkheid van pensioencommunicatie kan nog veel verbeterd worden. Vandaar dat in dit onderzoek wordt gekeken naar deze begrijpelijkheid. 2.3 Leesvaardigheid Leesvaardigheid is van belang bij het begrijpen van een tekst. Leesvaardigheid is het hebben van bepaalde semantische, syntactische en pragmatische kennis, die mensen kunnen gebruiken bij het lezen van teksten (Blom, 2013). Er zijn verschillende definities van leesvaardigheid, omdat veel verschillende aspecten ermee in verband kunnen worden gebracht (Robben et al., 2007). De definitie van leesvaardigheid uit onderzoek van het IAE (International Association for the Evaluation of Educational Achievement) is de vaardigheid in het begrip en gebruik van teksten die voor de maatschappij en/of het individu belangrijk zijn (De Glopper & Otter, 1993, 5). PISA (Program for International Student Assessment) definieert leesvaardigheid als het begrijpen en het gebruiken van, het reflecteren op en het zich inlaten met geschreven teksten, zodat iemand zijn doelen kan bereiken, zijn kennis en capaciteiten kan ontwikkelen en kan participeren in de maatschappij (Organisation for Economic Co-operation and Development (OECD), 2003, 108). CITO (Centraal Instituut voor Toetsontwikkeling) en LPC (Landelijk Pedagogisch Centra) hebben ook onderzoek gedaan naar leesvaardigheid (Robben, et al., 2007). Volgens hen bevat leesvaardigheid de aspecten: het begrijpen van geschreven teksten, informatie uit een tekst halen, het kunnen interpreteren van geschreven teksten, gegevens uit een tekst combineren, het reflecteren op geschreven teksten, studerend lezen, hoofd- en bijzaken van elkaar onderscheiden, opzoeken van informatie, woordenschat, leesattitude en leesgedrag (Robben et al., 2007, 2). Robben et al. (2007) vinden daarnaast dat het kunnen hanteren van verschillende leesstrategieën een belangrijk aspect is van leesvaardigheid. Leesvaardigheid bestaat dus uit veel verschillende aspecten. Daarom kan leesvaardigheid op verschillende manieren gemeten worden. Landi (2009) heeft bijvoorbeeld onderzoek gedaan naar de relatie tussen leesvaardigheid en tekstbegrip met verschillende instrumenten. Haar eerste instrument was een begripstest. Hierbij moesten participanten een paragraaf lezen en daarover meerkeuzevragen beantwoorden. Vervolgens moesten participanten een woordenschattest voltooien. Participanten moesten binnen zeven en een 9

10 halve minuut zoveel mogelijk items proberen te maken. Haar derde instrument was een auteur-herkenningstest. Hiermee probeerde Landi te meten hoeveel haar participanten lazen. Daarna volgde een pseudohomofone keuzetaak, waarbij participanten geschreven pseudowoorden moesten uitspreken en daarbij moesten aangeven of het pseudo-woord dezelfde uitspraak had als het bestaande woord. Haar vijfde instrument was een spellingstest, waarbij participanten de juiste spelling van het woord moesten kiezen. De laatste test was een kleine non-verbale IQ-test. Bij deze test moesten participanten verschillende patronen aanvullen. Het resultaat van Landi s onderzoek (2009) was dat woordenschat de sterkste voorspeller is van tekstbegrip. Hoe groter de woordenschat van de participanten, hoe beter de score op tekstbegrip. Uit meerdere onderzoeken is gebleken dat er een hoge correlatie bestaat tussen woordenschat en tekstbegrip (Stahl, 2003; Hacquebord, 2006). Woordenschat is dus een goede indicatie van leesvaardigheid, vandaar dat in dit onderzoek een woordenschattest een van meetinstrumenten van leesvaardigheid is. Er moet echter rekening gehouden worden met voorkennis. Dat kan namelijk ook een rol spelen bij woordenschat, omdat woordenschat afhangt van de kennis van de lezer (Stahl, 2003). Een ander meetinstrument van leesvaardigheid in dit onderzoek is de cloze-test. Hierbij krijgt de participant een tekst waarin een aantal woorden zijn weggelaten. De participant moet de lege plekken gaan opvullen. Uit onderzoek van Kamalski (2007) is gebleken dat deze test voornamelijk het oppervlakteniveau en tekstbetekenisniveau meet en niet zozeer het situatiemodel. Dat maakt dat deze test geschikt is voor het meten van leesvaardigheid, omdat daarbij met name de eerste twee niveaus een rol spelen. Bij het derde niveau, het situatiemodel, speelt vooral voorkennis een rol (Bos-Aanen, Sanders & Lentz, 2001). Bij beide testen, zowel de woordenschattest als de cloze-test, kan dus voorkennis een rol spelen. Vandaar dat bij het meten van leesvaardigheid aan de hand van deze testen rekening moet worden gehouden met een effect van voorkennis. 2.4 Tekstversies Er zijn verschillende opties om teksten weer te geven. Uit onderzoek blijkt dat de weergave van een tekst invloed heeft op het vinden en begrijpen van informatie in die tekst (Amadieu et al., 2009). Een van de weergavemogelijkheden is om de tekst in een lineaire volgorde weer te geven. Dit wil zeggen als een lopende tekst, welke zowel papier als digitaal aangeboden kan worden. De keuze van het medium, papier of digitaal, heeft ook al invloed op het vinden en begrijpen van informatie. Uit diverse onderzoeken blijkt dat mensen, zowel jong als oud, het 10

11 lezen van tekst op een scherm lastiger vinden dan het lezen van tekst op papier (Driessen, 2010). Mensen lezen een digitale tekst langzamer en globaler. Daarnaast missen mensen details van de tekst en krijgen ze er geen totaaloverzicht van in tegenstelling tot een papieren tekst (Driessen, 2010). Een andere mogelijkheid is om de tekst als hypertekst weer te geven. Hierbij kan de lezer zelf kiezen hoe hij of zij de tekst leest, omdat de lezer zelf door de tekst kan navigeren door middel van links. Dit verandert de manier van lezen van de lezer, omdat de lezers zelf bepalen hoe ze de tekst gaan lezen (Miall & Dobson, 2006). Volgens Mangen et al. (2013) zijn lineaire teksten beter te begrijpen dan hyperteksten. Uit andere onderzoeken blijkt echter dat hyperteksten beter te begrijpen zijn lineaire teksten (Rouet, 2003; Amadieu et al., 2010). Uit een onderzoek van Naumann et al. (2007) naar de tekstversie in combinatie met leesvaardigheid is naar voren gekomen dat hyperteksten beter te begrijpen zijn voor minder leesvaardige lezers dan lineaire teksten. Voor leesvaardige lezers is de tekstversie niet relevant. In dit onderzoek is gekozen voor de startbrief als een lineaire tekst en als een hypertekst om te kunnen kijken naar het verschil tussen de twee versies met betrekking tot het vinden en begrijpen van informatie. Daarnaast is er voor gekozen om beide tekstversies digitaal weer te geven. Op dit moment vindt er namelijk steeds meer digitalisering bij pensioenverzekeraars plaats, om zo te proberen om hun informatie overzichtelijk aan te bieden (Pols, 2011). Hierdoor is het van belang dat gekeken wordt naar het vinden en begrijpen van informatie in digitale context. 11

12 H3. Probleemstelling De onderzoeksvraag die centraal staat in dit onderzoek is: In hoeverre heeft leesvaardigheid invloed op het vinden en begrijpen van informatie in twee versies van een startbrief? Iedereen krijgt namelijk, als hij of zij gaat werken, een startbrief thuisgestuurd. Deze brief zou iedereen moeten lezen om te zien wat er geregeld is voor zijn pensioen. Per persoon verschilt echter de leesvaardigheid. Daarom moet de startbrief van een zodanig niveau zijn dat deze voor iedereen te begrijpen is. In dit onderzoek wordt gekeken of leesvaardigheid invloed heeft op het vinden en begrijpen van bepaalde informatie in de startbrief. De leesvaardigheid wordt gemeten door de woordenschattest en de cloze-testen. Daarnaast worden twee versies van de startbrief gebruikt. Dit zijn een PDF-versie en een klikmodel. Op basis van de literatuur zijn vervolgens de volgende hypothesen opgesteld: Hypothese 1: Er is een samenhang tussen de woordenschattest en de cloze-testen. Hypothese 2: Respondenten die hoog scoren op de woordenschattest en/of cloze-testen scoren ook hoog op het vinden van informatie. Hypothese 3: Respondenten die hoog scoren op de woordenschattest en/of cloze-testen scoren ook hoog op het begrijpen van de informatie. Hypothese 4: Er is een samenhang tussen het vinden en begrijpen van de informatie. Dus hoe meer informatie wordt gevonden in de startbrief, hoe meer informatie vervolgens wordt begrepen. Hypothese 5: Voor respondenten met een goede leesvaardigheid (een hoge score op de woordenschat en/of cloze-testen) maakt de tekstversie geen verschil. Hypothese 6: Respondenten met een mindere leesvaardigheid (een lage score op de woordenschattest en/of cloze-testen) scoren hoger op de hypertekstvorm dan op de lineaire vorm. 12

13 H4. Methode In dit hoofdstuk worden de respondenten, het materiaal en de procedure besproken. 4.1 Respondenten In totaal hebben honderd respondenten deelgenomen aan dit onderzoek. Daarvan zijn er 46 van het mannelijke geslacht en 54 van het vrouwelijke geslacht. De minimale leeftijd van de respondenten is 21 jaar en de maximale leeftijd is 67 jaar. In het onderzoek is onderscheid gemaakt in vier leeftijdscategorieën en drie opleidingsniveaus. In onderstaande tabellen is te zien hoe de respondenten verdeeld zijn over de leeftijdscategorieën (tabel 1) en opleidingsniveaus (tabel 2). Er is geprobeerd om dit zo evenredig mogelijk te doen. Daarnaast is het grootste deel van de respondenten parttime of fulltime in loondienst (84,0%). Een klein deel ervan werkt als zelfstandige (4,0%) en een deel is werkzoekend (7,0%). Het onderzoek is afgenomen door zes bachelorstudenten/proefleiders, die ieder twintig respondenten hebben getest. Als dank voor hun deelname heeft iedere respondent een VVV-bon van 5,00 gekregen. Tabel 1. Verdeling respondenten in leeftijdscategorieën (N=100) Leeftijdscategorieën Aantal respondenten 1 21 t/m 35 jaar t/m 45 jaar t/m 55 jaar t/m 64 jaar 23 Tabel 2. Verdeling respondenten in opleidingsniveaus (N=100) Opleidingsniveaus Opleidingen Aantal respondenten Laag Basisschool, LBO, VMBO 32 BKG, VMBO T, MBO 2 Midden MBO 3, MBO 4, MULO, 35 HAVO Hoog VWO, HBO, WO Materiaal Om een complete dataset te krijgen, zijn zes testen afgenomen. Dit zijn een financiële kennistest, een woordenschattest, een pensioenkennistest, twee cloze-testen en een begripstest. Van alle afgenomen testen zijn alleen de woordenschattest, de cloze-testen en de begripstest relevant voor dit onderzoek. Daarom worden deze testen in de komende subparagrafen toegelicht, waarbij er onder andere een voorbeeldvraag wordt gegeven. Daarnaast worden de verschillende tekstversies van de startbrief van Zwitserleven besproken. 13

14 4.2.1 Woordenschattest Er is een woordenschattest (bijlage 4) afgenomen om de woordenschat van de respondenten te meten. Daarnaast wordt deze test onder andere gebruikt om leesvaardigheid te meten. De (schriftelijke) test bestaat uit vijfentwintig items, waarbij de woorden worden aangeboden in korte zinnen. De respondent heeft vijf antwoordmogelijkheden, waaronder vier mogelijke betekenissen van het woord en de optie ik weet het niet. Deze optie is toegevoegd om gokken te voorkomen en er is nadrukkelijk verteld dat deze optie gekozen moest worden als de respondent het antwoord niet wist. Respondenten hebben vijf minuten de tijd gekregen om deze test te voltooien. Voorbeeldvraag woordenschattest Vraag 18: Hij is een erudiete man. a) aantrekkelijk b) belezen c) onverstandig d) dik e) ik weet het niet Cloze-test Er zijn twee cloze-testen afgenomen om de leesvaardigheid van de respondenten te meten. De cloze-test zou ook gebruikt kunnen worden om de voorkennis van de respondenten te meten. Om dit (gedeeltelijk) uit te sluiten worden er twee cloze-testen afgenomen, waarbij respondenten een tekst krijgen die over het pensioen gaat (ClozeP, bijlage 6) en nog een andere tekst over een willekeurig onderwerp. In dit geval is dat onderwerp donorregistratie (ClozeD, bijlage 7). In beide teksten zijn vijfentwintig woorden weggelaten, die de respondent juist moet invullen. Hierbij bestaat de optie om geen woord in te vullen, als respondenten het woord niet weten bijvoorbeeld. Respondenten hebben per test tien minuten de tijd gekregen om deze te voltooien. Voorbeeldvraag clozep-test Ouderdomspensioen verschaft een voor de tijd dat men niet meer werkt op latere leeftijd. Voorbeeldvraag clozed-test Op dit moment staan ruim vijf miljoen in het Donorregister vastgelegd. 14

15 4.2.3 Tekstversies Er zijn twee versies van de startbrief van Zwitserleven gemaakt. De ene versie is een lopende tekst, waarbij de informatie lineair onder elkaar staat. Dit is een pdf-bestand (versie1) (te vinden in bijlage 1), wat gelezen gaat worden op het scherm van een laptop. De lezer moet in dit geval het gehele document lezen en hierin heen en weer scrollen om bij bepaalde informatie terecht te komen. De andere versie is een hypertekst ofwel een klikmodel (versie 2). Deze tekstversie is te vinden op de website De lezer kan hierbij in het hoofdmenu kiezen uit twee links, welke leiden tot meerdere links waar informatie te vinden is. Vanuit één pagina met bepaalde informatie bestaat de mogelijkheid om door te klikken naar een andere pagina met gerelateerde informatie. Het grootste verschil tussen de twee tekstversies is dat bij het pdfbestand de gehele tekst gelezen moet worden, terwijl bij het klikmodel de lezer bepaalt welke informatie hij of zij wel of niet wil lezen Begripstest Er is een begripstest (bijlage 8) afgenomen om het begrip van de respondenten met betrekking tot de startbrief van Zwitserleven te meten. Er zijn in dit onderzoek twee versies van de startbrief gebruikt, die willekeurig over de respondenten verdeeld zijn. De startbrief is geanonimiseerd vanwege vooroordelen die mensen zouden kunnen hebben en privacyredenen. De geanonimiseerde startbrief is afkomstig van het fictieve pensioenfonds ABC Pensioenen, waarbij het fictieve bedrijf Huisman & Van den Assem B.V. de pensioenen regelt. De respondenten hebben, voor de afname van de begripstest, kort de tijd gekregen om de brief te bestuderen, waarna er twaalf mondelinge vragen aan hun worden gesteld. Bij de beantwoording van de vragen mogen respondenten de brief gebruiken. Respondenten krijgen daarnaast twee minuten de tijd om het antwoord op te zoeken in de brief en daarna het antwoord aan de proefleider uit te leggen. De tijd wordt gestopt als de respondent denkt het antwoord te hebben gevonden, als de respondent aangeeft het antwoord niet te kunnen vinden of als de twee minuten voorbij zijn gegaan. Bij de begripstest zijn verschillende soorten scenariovragen gebruikt. Er zijn vragen die direct vanuit de brief beantwoord kunnen worden en vragen waarbij de respondenten de inhoud van de brief moeten combineren met reeds eerder verkregen informatie. Hieronder is van beide soorten vragen een voorbeeld te zien. 15

16 Voorbeeld directe vraag Vraag 1: Marije werkte bij Huisman & Van den Assem B.V. en gaat pensioen opbouwen bij ABC Pensioenen. Wie dragen bij aan haar premie? Voorbeeld minder directe vraag Vraag 2: Stel, Marije krijgt een ongeluk en raakt voor 50% arbeidsongeschikt. Ze gaat halve dagen werken. a) Wordt er nog steeds premie afgedragen voor haar pensioen? b) Zo ja, door wie? 4.3 Procedure De gebruikte procedure, welke hieronder beschreven wordt, is eerst gepretest door alle proefleiders bij twee respondenten. Deze respondenten hoefden niet aan de restricties te voldoen voor de respondenten die deelnemen aan de rest van het onderzoek. De pretest is uitgevoerd om te oefenen met de procedure en om fouten eruit te halen. Er zijn geen fouten gevonden, dus de procedure is gelijk gebleven. Het onderzoek heeft plaatsgevonden in de eigen omgeving van de respondenten, waarbij er iedere keer één proefleider aanwezig is geweest. Het onderzoek is altijd begonnen met een korte inleiding, waarin het een en ander verteld is over het onderzoek zoals het onderwerp en de tijdsduur van het onderzoek. Tevens worden de respondenten bedankt voor hun deelname aan het onderzoek. Ook van belang is om te vertellen dat de brief getest wordt en niet of in mindere mate de deelnemer. Na de inleiding moeten respondenten een formulier over hun demografische gegevens invullen (bijlage 2). Hierna volgt de vragenlijst over financiële geletterdheid (bijlage 3) en daarna de vragenlijst met betrekking tot de woordenschat (bijlage 4). De pensioenkennistest (bijlage 5) en de cloze-testen (bijlage 6 en 7) worden in zes verschillende varianten afgenomen, om volgorde-effecten te voorkomen: 1) Pensioenkennis ClozeP ClozeD 2) Pensioenkennis ClozeD ClozeP 3) ClozeP Pensioenkennis ClozeD 4) ClozeP ClozeD Pensioenkennis 5) ClozeD Pensioenkennis ClozeP 6) ClozeD ClozeP - Pensioenkennis Alle genoemde vragenlijsten zijn schriftelijk afgenomen en bij alle genoemde vragenlijsten, behalve de vragenlijst over de demografische gegevens, wordt gemeten hoelang de 16

17 respondent bezig is met het invullen ervan. Dit wordt ingevuld op een observatieformulier (bijlage 9). Vervolgens wordt de begripstest (bijlage 8) afgenomen. Er wordt aan de respondenten gevraagd om het antwoord op diverse (scenario-)vragen te zoeken in de startbrief, welke getoond wordt op een laptop. Hierbij wordt het scherm van de laptop gefilmd, zodat de proefleider naderhand nog eens kan bekijken hoe de respondent op zoek is gegaan naar de antwoorden op de vragen. Op een observatieformulier (bijlage 9) worden diverse aspecten bijgehouden tijdens het afnemen van de begripstest. Er wordt per vraag genoteerd hoe lang het duurt voordat de respondent het antwoord op de vraag heeft gevonden. Daarnaast noteert de proefleider of de informatie überhaupt wordt gevonden. Verder wordt gecontroleerd of de gevonden informatie juist is en of deze informatie met of zonder gebruik van de brief wordt gegeven. De proefleider noteert ook of de informatie wordt voorgelezen uit de brief of dat het antwoord in eigen woorden wordt verteld. Tijdens het afnemen van de begripstest is het de bedoeling dat proefleiders geen antwoorden op de vragen vertellen en er mag ook niet worden verteld of het gegeven antwoord juist of onjuist is. Verder wordt de begripstest mondeling afgenomen. Hierdoor hebben de proefleiders de mogelijkheid om te kunnen controleren of de informatie daadwerkelijk wordt begrepen. Er kan bijvoorbeeld gevraagd worden om informatie in eigen woorden uit te leggen, als de informatie letterlijk wordt voorgelezen van het scherm. Ook kan er gevraagd worden om informatie aan te wijzen in de tekst. Als respondenten dit niet kunnen maar wel het antwoord weten, dan is aan te nemen dat zij het antwoord al weten door voorkennis. De begripstest is de laatste test van het onderzoek. Hierna ontvangen de respondenten een VVV-bon van 5,00 als dank voor hun deelname. 17

18 H5. Resultaten In de komende paragrafen worden eerst de resultaten van de vragenlijsten besproken. Hierna volgen de verbanden tussen de respondentkenmerken, woordenschattest, cloze-testen en begripstest. Als laatste komen de regressieanalyses aan bod. 5.1 Scores van respondenten op de testen Woordenschattest Het is van belang dat de items van de testen hetzelfde meten, anders ontstaan geen betrouwbare resultaten. De 25 items van de woordenschattest zijn betrouwbaar (α=.87). Daarom wordt vanaf nu de totaalscore gebruikt. In onderstaande tabel zijn de gemiddelde score (standaarddeviatie), minimum- en maximumscore te vinden. Tabel 3. Gemiddelde (standaarddeviatie), minimum- en maximumscore op de woordenschattest Gemiddelde Minimum Maximum (Standaarddeviatie) Woordenschattest (4.96) 6 25 Er is een negatieve correlatie tussen de goedscore op de woordenschattest en de tijd die eraan besteed werd (r=-.53, p<.000). Dit betekent dat respondenten met een hoge goedscore significant minder tijd nodig hadden om de test in te vullen. Dit geldt andersom voor respondenten met een lage goedscore. Zij hadden significant meer tijd nodig voor het invullen van de woordenschattest Cloze-testen Bij de cloze-testen kan gebruik gemaakt worden van strikte goedscores. In dat geval is alleen het juiste antwoord goed. Een andere optie is het gebruik van ruime goedscores. In dat geval zijn de juiste antwoorden en synoniemen daarvan goed. In dit onderzoek is gebruik gemaakt van ruime goedscores, omdat het juiste antwoord en het synoniem eigenlijk hetzelfde betekenen en daarom zijn ze naar mijn mening allebei goed. De 25 items van de clozep-test zijn onderling betrouwbaar (α =.83), vandaar dat de totaalscore gebruikt wordt. In onderstaande tabel zijn de gemiddelde score (standaarddeviatie), minimum- en maximumscore terug te zien. Tabel 4. Gemiddelde (standaarddeviatie), minimum- en maximumscore op de clozep-test Gemiddelde Minimum Maximum (Standaarddeviatie) ClozeP-test (4.87)

19 Er is een positieve correlatie tussen de goedscore en de tijdscore op de clozep-test (r=.21, p<.040). Dit wil zeggen dat respondenten met een hoge goedscore significant meer tijd nodig hebben gehad om de test in te vullen, in tegenstelling tot respondenten met een lage goedscore. Zij hadden significant minder tijd nodig voor het invullen van de clozep-test. De 25 items van de clozed-test zijn ook onderling betrouwbaar (α=.79). Daarom wordt de totaalscore gebruikt. In onderstaande tabel zijn de gemiddelde score (standaarddeviatie), minimum- en maximumscore te vinden. Tabel 5. Gemiddelde (standaarddeviatie), minimum- en maximumscore op de clozed-test Gemiddelde Minimum Maximum (Standaarddeviatie) ClozeD-test (4.20) 2 21 Er is een ook positieve correlatie tussen de goedscore en de tijdscore op de clozed-test (r=.22, p<0.026). Dit betekent dat respondenten met een hoge goedscore significant meer tijd nodig hebben gehad om de test in te vullen, terwijl respondenten met een lage goedscore significant minder tijd nodig hebben gehad voor het invullen van de clozed-test Begripstest Net als bij de cloze-testen, is er bij de begripstest ook sprake van strikte en ruime goedscores. Bij de strikte goedscores is het antwoord goed gerekend als het juiste antwoord is gevonden in de tekst en letterlijk is opgelezen of in eigen woorden is verteld. Bij de ruime goedscores is het antwoord goed gerekend als het antwoord juist is met of zonder gebruik van de tekst. In dit onderzoek wordt gebruik gemaakt van de strikte goedscores bij de begripstest, omdat het de bedoeling is dat respondenten het antwoord in de tekst kunnen vinden en begrijpen. Daarnaast zijn er twee tekstversies van de begripstest gebruikt, namelijk een PDF-versie (versie 1) en een klikmodel (versie 2). De scores op de verschillende versies worden apart besproken. De begripstest bevat in totaal 24 items, waarbij 38 steekwoorden kunnen worden genoemd. Deze 38 items zijn onderling betrouwbaar (α=.85), vandaar dat de totaalscore wordt gebruikt. Naast het noemen van het juiste antwoord (de goedscore), moet het antwoord ook in de tekst gevonden worden (de vindscore). De vindscores zijn onderling ook betrouwbaar (α=.75), vandaar dat de totaalscore wordt gebruikt. In onderstaande tabellen zijn de gemiddelde scores (standaarddeviaties), minimum- en maximumscores van de vind- en goedscores per versie te zien. 19

20 Tabel 6. Gemiddelden (standaarddeviaties), minimum- en maximumscores van de vindscore op de begripstest Vindscore Gemiddelde Minimum Maximum (Standaarddeviatie) Begripstest versie (5.02) 3 23 Begripstest versie (3.92) 4 21 Tabel 7. Gemiddelden (standaarddeviaties), minimum- en maximumscore van de goedscore op de begripstest Goedscore Gemiddelde Minimum Maximum (Standaarddeviatie) Begripstest versie (6.97) 3 35 Begripstest versie (6.35) 1 30 Daarnaast is er een positieve correlatie tussen de goedscore en de vindscore van de PDFversie (r=.82, p<.000). Dit wil zeggen dat respondenten die meer antwoorden hebben gevonden, meer antwoorden goed hebben in tegenstelling tot mensen die minder antwoorden hebben gevonden. Ook is er positieve, significante correlatie tussen de goedscore en de vindscore van het klikmodel (r=.80, p<.000). Hierbij geldt ook dat respondenten die meer antwoorden hebben gevonden, meer antwoorden goed hebben in tegenstelling tot mensen die minder antwoorden hebben gevonden. 5.2 Verbanden tussen respondentkenmerken, woordenschattest, cloze-testen en begripstest Ten eerste wordt er gekeken of er verbanden zijn tussen verschillende respondentkenmerken en de afgenomen testen. Vervolgens wordt gekeken of er een verband is tussen de woordenschattest en de cloze-testen, omdat deze testen de leesvaardigheid zouden meten volgens de literatuur. Als laatste wordt er gekeken of er een verbanden zijn tussen de begripstest en de andere testen Verband tussen respondentkenmerken Er is gekeken of er een samenhang is tussen verschillende respondentkenmerken, zoals geslacht, leeftijd en opleidingsniveau, en de goedscores op verschillende testen, zoals de woordenschattest, pensioenkennistest en de cloze-testen. Er is geen significante samenhang gevonden van de variabele geslacht met de goedscores van de woordenschattest (t(98)=.72, p=.47), clozep-test (t(98)=.63, p=.53) en clozed-test (t(98)=-1.10, p=.27). Dit betekent dat er geen verschil is tussen mannen en vrouwen bij de scores op de testen. 20