E-LEARNING OP MAAT: AUTOMATISCHE GEÏNDIVIDUALISEERDE MATERIAALSELECTIE IN HET TWEEDE-TAALONDERWIJS Geke Hootsen, Rintse van der Werf & Anne Vermeer, CIW, Universiteit van Tilburg (in: Toegepaste Taalwetenschap in Artikelen, 78 (2007), 119-130) 1 Inleiding In het tweede-taalonderwijs aan (jong)volwassenen op ROC s is de variatie in de taalvaardigheid Nederlands binnen één klas erg groot. Bovendien liggen de interessegebieden bij deze leerders ver uit elkaar. Om die redenen is het selecteren van geschikt lesmateriaal voor een klas problematisch. Vanwege de grote niveauverschillen is het aanbieden van lesmateriaal dat is afgestemd op het gemiddelde niveau niet zo geschikt. Het is voor sommigen te makkelijk, en voor anderen weer te moeilijk om er succesvol van te leren. Daarnaast kan het onderwerp van een bepaalde tekst sommigen soms zo weinig boeien, dat ze alleen al om die reden weinig of niets van die tekst opsteken. Onderwijs heeft meer effect als het is afgestemd op het niveau en de leerdoelen en wensen van de individuele leerder. Onderwijsmateriaal zou daarom eigenlijk adaptief moeten zijn in de zin dat het dynamisch wordt aangepast aan het niveau en de voorkeuren van de leerder. Om leerders adaptief begrijpelijk lesmateriaal te kunnen aanbieden, moet aan twee randvoorwaarden worden voldaan: 1) het niveau en de leerpreferentie van een leerder moeten bekend zijn, en 2) afhankelijk daarvan moet lesmateriaal voorhanden zijn dat op die leerder is toegesneden. E-learning systemen kunnen zowel bij niveaubepaling als bij materiaalselectie een nuttig hulpmiddel zijn. Bovendien bieden ze de leerders de mogelijkheid om onafhankelijk van een docent materiaal te kiezen en zo aan hun taalvaardigheid te werken, bijvoorbeeld met authentiek leesmateriaal zoals krantenteksten. Blöchl, Rumetshofer & Wöss (2003) geven echter aan dat er ook bij e- learning applicaties vaak sprake is van one-size-fits-all. In dit artikel wordt verslag gedaan van een onderzoek naar de effectiviteit van het op maat en digitaal aanbieden van leesteksten aan volwassen tweede-taalleerders, met de focus op woordenschat. Ze kunnen daarbij gebruik maken van een woordenboek dat zowel op de specifieke tekst als op de individuele leerder toegesneden is. Deze studie maakt onderdeel uit van het NWO/PROO-project Models of Adaptive Second Language Acquisition (MASLA, zie www.masla.nl), dat onderzoekt hoe de computer automatisch, op iedere student toegesneden lesmateriaal kan aanbieden. In de volgende paragrafen gaan we eerst in op effectief taalonderwijs en wat de rol van woordenschat is in de selectie van - voor de individuele leerder - begrijpelijke leesteksten. In paragraaf 4 en 5 worden de vragen, de onderzoeksopzet en de belangrijkste resultaten van het onderzoek besproken, gevolgd door conclusies en een korte discussie in paragraaf 6.
2 Hootsen, van der Werf & Vermeer 2 Effectief onderwijs en het belang van woordenschat Bij effectief (taal)onderwijs wordt materiaal aangeboden dat geschikt is voor leerders. Om maximale leerwinst te behalen uit het aangeboden materiaal moet het begrijpelijk zijn, maar wel net boven het huidige niveau van een leerder liggen (Hulstijn, Hollander & Greidanus, 1996; Jones, 2004; Krashen, 1987; Nation, 2001; De Ridder, 2002). In dit onderzoek wordt begrijpelijke input gedefinieerd in termen van woordenschatkennis. De omvang van iemands woordenschat is namelijk één van de belangrijkste factoren bij taalbegrip. Als een lezer te weinig woorden in een tekst kent, dan zal hij, zelfs bij voldoende leesvaardigheid en kennis van grammaticale regels, de tekst niet kunnen begrijpen (Groot, 1994; Hazenberg, 1994; Knight, 1994; Laufer, 1992; 1997; Mondria, 1996; Vermeer, 2000). Omdat woordenschat dus een drempel voor tekstbegrip vormt, bepaalt het in belangrijke mate wat begrijpelijke input is. De woordenschat van leerders aan het begin van het onderzoek wordt hier als uitgangspunt gebruikt voor de selectie van geschikte leesteksten en de inhoud van een geïndividualiseerd woordenboek. Bij het lezen van teksten kunnen leerders incidenteel nieuwe woorden leren (Hulstijn, 1992; Knight, 1994; Rott, 1999). Leren vindt dan plaats op grond van het (toevallig) tegenkomen van een woord en het raden of afleiden van de betekenis ervan uit de context. Deze vorm van leren is een bijkomend, onbedoeld effect van authentieke activiteiten op school en daarbuiten, zoals het lezen van een tekst met als doel de betekenis ervan te begrijpen (Hill & Laufer, 2003; Hulstijn e.a., 1996; Paribakht & Wesche, 1997). Incidenteel leren wordt vooral van belang geacht voor het leren van woorden die relatief infrequent zijn in teksten (Ellis, 1994). Het incidenteel leren van woorden uit teksten is niet altijd even efficiënt gebleken. Leerders leren slechts weinig woorden omdat ze vaak niet in staat zijn woordbetekenissen af te leiden uit de tekst, of onbekende woorden negeren (Groot, 2000; Mondria, 1996; Watanabe, 1997). Dit laatste gebeurt vooral als er zo weinig onbekende woorden in de tekst voorkomen dat het begrijpen van die woorden geen effect heeft op het tekstbegrip (Hulstijn e.a., 1996; Knight, 1994). Om die reden moet een tekst voor het leren van nieuwe woorden een aantal, maar niet te veel, onbekende woorden bevatten. Als een tekst wel voldoende onbekende woorden bevat, dan kan ondersteuning in de vorm van een woordenboek leerders helpen bij het leren van die woorden. Eerder onderzoek heeft aangetoond dat het gebruik hiervan leidt tot meer incidenteel leren van woorden dan het lezen van een tekst zonder extra ondersteuning (Hulstijn e.a., 1996; Knight, 1994; Laufer & Hill, 2000; Plass e.a., 1998; Watanabe, 1997). Dit blijkt vooral het geval te zijn als er naast de gebruikelijke woordenboekinformatie meerdere soorten informatie beschikbaar zijn in de vorm van visuele ondersteuning en extra informatie zoals contextzinnen (Chun & Plass, 1996; Jones, 2004; Laufer & Hill, 2000; Plass e.a., 1998). Bovendien blijkt dat hoe meer handelingen leerders uitvoeren met een onbekend woord, hoe beter zij dat woord onthouden (Hill & Laufer, 2003; Wesche & Paribakht, 2000). Vooral leerders met een beperkte woordenschat biedt het woordenboek goede ondersteuning (Knight, 1994). 3 Woordenschat en begrijpelijk lesmateriaal (Tweede-) taalleerders kunnen dus incidenteel nieuwe woorden leren als zij op hun niveau afgestemde leesteksten krijgen aangeboden, vooral als zij daarbij ondersteuning
E-learning op maat: automatische geïndividualiseerde materiaalselectie 3 krijgen in de vorm van een woordenboek. De teksten moeten dan wel begrijpelijk zijn. Hoewel tekstbegrip afhankelijk is van meerdere factoren - kennis van de wereld, kennis van het onderwerp van de tekst, de stijl van de tekst, het kunnen toepassen van algemene leesstrategieën (Laufer, 1997) vormt het aantal woorden dat een lezer kent in een tekst een maat voor hoe begrijpelijk de tekst is voor die lezer. Hoe meer lemma s er bekend zijn, hoe beter de tekst te begrijpen is. Een lemma wordt gedefinieerd als een woordenboekingang of een vervoeging of verbuiging daarvan (Nation, 2001). Het percentage bekende lemma s in een tekst ( lemmadekking ) vormt een maat voor de moeilijkheidsgraad. In onderzoek (Groot, 1994; Hazenberg, 1994; Laufer, 1989; Nieuwborg, 1992) is gebleken dat voor een goed tekstbegrip een lemmadekking van 91% noodzakelijk is en voor redelijk tekstbegrip een dekking van 87%. Daaronder is er sprake van globaal tekstbegrip, dat wil zeggen dat hooguit begrepen wordt waar de tekst over gaat. Als de lemmadekking onder 83% zakt, dan herkent een lezer zelfs de hoofdpunten van een tekst niet. Aan de andere kant moet een tekst zoveel onbekende woorden bevatten dat de lezer moeite moet doen om de tekst te begrijpen. Hij moet niet over de onbekende woorden heen lezen omdat de tekst toch wel duidelijk is. In dit onderzoek worden teksten die begrijpelijk zijn, maar waaruit een leerder nog wel nieuwe woorden kan leren, daarom gedefinieerd als teksten met een lemmadekking tussen 85% en 92%. Lemmadekking hangt samen met de omvang van de woordenschat van een leerder. Voor selectie van begrijpelijke teksten voor een leerder is het daarom van belang te weten welke woorden hij of zij kent. Daarbij bestaat er een duidelijke relatie tussen frequentie van voorkomen van woorden in het taalaanbod aan een leerder en de verwerving ervan (Vermeer, 2001). Tweede-taalleerders leren woorden die erg frequent zijn daarom eerder dan infrequente woorden (Hazenberg, 1994). De frequentie van woorden in het Nederlands wordt hier afgeleid uit het CELEX-corpus (Burnage, 1990). De lemma s hierin zijn voorzien van een rangordening, van de meest frequente naar de minst frequente lemma s. Als de woordenschatomvang van een leerder bekend is, kan daaruit afgeleid worden welke lemma s uit het Nederlands hij kent. Als een leerder bijvoorbeeld 5.000 lemma s kent, wordt verondersteld dat hij de 5.000 meest frequente lemma s kent, en dat de lemma s met een lagere frequentie in CELEX voor hem onbekend zijn. Aan de hand van dit gegeven kan bepaald worden in welke mate een leestekst begrijpelijk is voor die leerder. De lemmadekking van een tekst voor een lezer kan ook berekend worden aan de hand van frequentie-informatie uit het CELEX-corpus. Daartoe wordt geanalyseerd welke lemma s er in die tekst voorkomen en welke frequentie zij in het CELEX-corpus hebben. Vervolgens wordt berekend welk percentage ervan bekend is bij een specifieke leerder met een bepaalde woordenschatomvang. De lemmadekking van een bepaalde tekst zal hoger zijn voor een lezer met een grotere woordenschat dan voor iemand met een kleinere woordenschat. In de adaptieve e-learning applicatie in ons onderzoek krijgt de lezer vervolgens alleen die teksten te zien die voor hem begrijpelijk zijn en waaruit hij nog woorden kan leren, dus de teksten met een lemmadekking tussen 85% en 92%. Op dezelfde wijze kan ook een geïndividualiseerd woordenboek worden gegenereerd door de computer. Voor dat woordenboek worden uit de tekst alleen die lemma s geselecteerd die een lagere frequentie hebben dan de vastgestelde woordenschatomvang van de lezer. Op basis van weer andere tekstcorpora of gegevens van het www (bijvoorbeeld krantenteksten) kunnen ook de glossen en de contextzinnen bij de lemma s uit dat woordenboek automatisch gevuld worden.
4 Hootsen, van der Werf & Vermeer 4 Vraagstelling, opzet en uitvoering van het onderzoek In dit onderzoek is nagegaan wat de effectiviteit is van het op maat en digitaal aanbieden van leesteksten aan volwassen tweede-taalleerders van het Nederlands, die daarbij gebruik kunnen maken van een op de tekst en op de individuele leerder toegesneden woordenboek. Daarbij zijn de volgende onderzoeksvragen opgesteld: 1. Leren de proefpersonen nieuwe woorden door het lezen van op hun niveau afgestemde teksten? 2. Is er daarbij een verschil tussen de drie maten van dekking, waarbij de makkelijkste tekst een lemmadekking van 92%, de middelste tekst een lemmadekking van 90% en de moeilijkste tekst een lemmadekking van 85% heeft? 3. Is er een verband tussen het opzoeken van onbekende woorden in het woordenboek en het onthouden van deze woorden? 4.1 Proefpersonen Aan het onderzoek namen 46 volwassen cursisten Nederlands als tweede taal van twee ROC s deel, 38 vrouwen en acht mannen. Zij hadden gemiddeld 9,8 maanden Nederlandse les. De groep was heterogeen wat betreft opleidingsniveau in het land van herkomst, verblijfsduur in Nederland en moedertaal. Op de curriculumonafhankelijke woordenschattoets hadden de proefpersonen gemiddeld 36,6 antwoorden goed (sd = 8,74). Dit komt overeen met een woordenschatomvang van gemiddeld 6.313 woorden (sd = 2.272). De woordenschatomvang varieerde van 2.000 tot 12.660 lemma s. 4.2 Instrumenten Het onderzoek is uitgevoerd in twee delen, die in twee lesuren aan de proefpersonen werden voorgelegd: een curriculumonafhankelijk en een curriculumafhankelijk deel. Het eerste deel had tot doel een inschatting te maken van hun taalvaardigheid. In het tweede deel kregen de studenten afhankelijk van hun niveau leesteksten met een woordenboek aangeboden. Door middel van een pretest-treatment-posttest design werd in het tweede deel onderzocht of zij op grond van het lezen van de teksten hun woordenschat uitbreidden. De proefpersonen kregen de toetsen en leesteksten online op de computer aangeboden tijdens reguliere lesuren. De curriculumonafhankelijke woordenschattoets Om tweede-taalleerders lesmateriaal op hun eigen niveau aan te kunnen bieden is het noodzakelijk te weten wat hun woordenschatkennis is. Daarvoor is een op het CELEXcorpus gebaseerde woordenschattoets (uit Hazenberg, 1994) voor de doelgroep aangepast en afgenomen. Uit de toets zijn die items geselecteerd die tot de meest frequente 15.000 lemma s in het Nederlands behoren en die niet sterk lijken op lemma s die ook in andere talen voorkomen, zoals conclusie. Na deze correcties bleven er vijftig items over uit de oorspronkelijke toets. Om tot een regelmatige spreiding over de frequentiewaarden van de lemma s uit CELEX te komen, is de toets met twintig nieuwe items aangevuld tot zeventig items. De meest frequente 2.000 lemma s uit CELEX werden bij de proefpersonen bekend verondersteld. De proefpersonen kregen de woorden in willekeurige volgorde aangeboden in een contextzin waaruit zij de betekenis van het woord niet konden afleiden. Ieder
E-learning op maat: automatische geïndividualiseerde materiaalselectie 5 doelwoord had vier antwoordmogelijkheden van ongeveer gelijke lengte. Om ervoor te zorgen dat de antwoordmogelijkheden voor alle proefpersonen begrijpelijk waren, werden in de formulering daarvan alleen de 2.000 meest frequente lemma s in het Nederlands gebruikt. Aan de hand van zijn of haar score op de toets is door extrapolatie de woordenschatomvang van elke proefpersoon berekend, waarbij rekening is gehouden met de kans een antwoord goed te gokken (Verhoeven & Vermeer, 1996). De toets bleek betrouwbaar te zijn (Cronbach s alpha =.81). De curriculumafhankelijke pre- en posttest Het curriculumafhankelijke deel van het onderzoek bestond uit een pre- en posttest en een treatment waarbij proefpersonen drie leestteksten kregen, met een lemmadekking van respectievelijk 92%, 90% en 85%. Voorafgaand aan de leesteksten kregen de proefpersonen een curriculumafhankelijke woordenschattoets met dertig items in willekeurige volgorde aangeboden, tien uit elke nog te lezen tekst. De opbouw van deze items was vergelijkbaar met die van de curriculumonafhankelijke woordenschattoets. Per tekst werden tien doelwoorden geselecteerd uit de lemma s die onbekend werden verondersteld voor alle proefpersonen die de desbetreffende tekst kregen aangeboden. Omdat iedere tekst voor iedere proefpersoon maximaal een dekking van 92% had, is een selectie gemaakt uit de lemma s die daarbuiten vielen. Als een tekst bijvoorbeeld een dekking van 92% bereikte bij de 7.000 meest frequente lemma s, werden lemma s geselecteerd die wat betreft hun frequentie een positie van 7.001 of lager hadden. Na het lezen van de drie teksten en het beantwoorden van de tekstbegripvragen (zie hieronder) kreeg een proefpersoon uit elk van de drie gelezen teksten de tien doelwoorden uit de pretest nogmaals in willekeurige volgorde aangeboden. De treatment De proefpersonen kregen, als zij een verschillende woordenschatomvang hadden, verschillende teksten aangeboden. Voor dit experiment zijn zestien voor de doelgroep geschreven leesteksten van ongeveer 500 woorden geselecteerd. De eenvoudigste tekst bereikt een dekkingsgraad van 85% binnen de 1.000 meest frequente lemma s, terwijl voor de moeilijkste tekst kennis van de meest frequente 8.000 woorden nodig is om tot een zelfde dekkingsgraad te komen. Iedere proefpersoon kreeg drie teksten aangeboden die begrijpelijk moesten zijn, maar waaruit ze wel nieuwe woorden moesten kunnen leren. De eerste tekst had een lemmadekking van ongeveer 92%, de tweede van ongeveer 90% en de derde van ongeveer 85%. Dezelfde tekst kon dus voor verschillende personen een verschillende dekkingsgraad kon hebben. Bij deze teksten had elke proefpersoon de beschikking over een woordenboek met daarin lemma s die op grond van zijn woordenschat onbekend verondersteld werden. Deze lemma s waren in de tekst gemarkeerd met een asterisk. De Ridder (2002) vond dat er bij teksten met een digitaal woordenboek significant vaker op gemarkeerde woorden wordt geklikt dan op woorden waarbij dat niet het geval is. Bij het begin van de eerste leestekst werd aan iedere proefpersoon getoond dat er een woordenboek was en hoe hij of zij dat kon gebruiken. Na aanklikken van een gemarkeerd woord kregen de proefpersonen in een extra frame rechts naast de leestekst het bevraagde woord te zien, gevolgd door een definitie en een contextzin met dat woord. De glossen waren opgebouwd uit de meest frequente 2.000 lemma s in het Nederlands. Waar mogelijk was bovendien een afbeelding opgenomen in het woordenboek. Verder kregen de proefpersonen extra informatie over bijvoorbeeld de stamtijden van een werkwoord te
6 Hootsen, van der Werf & Vermeer zien. De proefpersonen konden de woorden zo vaak als zij wilden aanklikken. Jacobs, Dufon & Fong (1994) vonden dat het op deze manier aanbieden van glossen in de tweede taal bruikbaar was voor tweede-taalleerders en dat ze er tevreden mee waren. Om de aandacht van de proefpersonen af te leiden van het leren van onbekende woorden en te richten op begrip van de tekst als geheel, werd hen gevraagd per tekst drie tekstbegripvragen te beantwoorden (Hulstijn e.a., 1996). Hoewel de proefpersonen onbekende woorden wel konden opzoeken, lag de nadruk dus niet op het leren van die woorden. In navolging van Laufer & Hill (2000) beschouwen we het volgens deze procedure leren van onbekende woorden als incidenteel leren. Van alle proefpersonen is geregistreerd welke woorden ze hebben opgezocht en hoe vaak dat gebeurde. 5 Resultaten In Tabel 1 zijn de scores op de curriculumafhankelijke tests en hun standaarddeviaties weergegeven. De t-waardes in de kolom daarnaast geven aan of de scores op pre- en posttest significant van elkaar verschillen. In de laatste kolommen zijn de leerwinst en de standaarddeviatie daarvan per tekst opgenomen. Leerwinst is gedefinieerd als het relatieve aandeel in de natoets gekende items van het aantal bij de voormeting onbekende items (Appel & Vermeer, 1997). Uit Tabel 1 blijkt dat de proefpersonen in het gehele experiment gemiddeld 4,5 items meer goed beantwoorden op de curriculumafhankelijke posttoets dan op de pretoets. Dit verschil is significant. De proefpersonen halen daarmee een gemiddelde leerwinst van 32.5%. De leerwinst is vergelijkbaar met die in andere woordenschatonderzoeken gevonden wordt (zie Appel & Vermeer, 1997). Onderzoeksvraag 1 kan daarmee positief beantwoord worden: in dit experiment leerden de proefpersonen nieuwe woorden uit het lezen van teksten. Tabel 1. Scores en leerwinst van de proefpersonen (n=46) op de curriculumafhankelijke tests t-test % leerwinst pretest sd posttest sd df / t / Sig t gem sd Alle teksten 17.0 5.8 21.5 5.3 45/ 7.08/.000 32.5 32.8 92% dekking 6.4 2.4 7.7 2.2 45/ 4.16/.000 33.6 42.4 90% dekking 5.1 2.5 7.2 2.2 44/ 6.18/.000 36.3 46.5 85% dekking 5.5 2.3 7.0 2.5 44/ 5.53/.000 27.5 53.1 Ook voor de teksten met verschillende maten van dekking (92%, 90% en 85%) afzonderlijk halen de proefpersonen steeds een significant hogere score op de posttest dan op de pretest en behalen zij dus leerwinst. Door middel van een ANOVA voor repeated measures is nagegaan of de leerwinsten van de drie teksten met een lemmadekking van 92%, 90% en 85% van elkaar verschillen. Er blijkt geen significant effect voor de mate van dekking te zijn (Wilk s Lambda =.978, F (2,44) = 0.942, p =.62). Op onderzoeksvraag 2 is het antwoord daarom negatief: de mate van dekking van een tekst die gelezen was had geen invloed op verschillen in scores tussen de pretoets en de posttoets en op behaalde leerwinst. De grenzen van de mate van dekking (92%, 90% en 85%) die in de literatuur genoemd worden als voorwaarde voor voldoende tekstbegrip zijn dus goed gekozen.
E-learning op maat: automatische geïndividualiseerde materiaalselectie 7 Bovenstaande conclusie dat er geen verschil in leerwinst was tussen de drie grenzen van dekking zou ook een gevolg kunnen zijn van verschillen tussen de teksten. Om de conclusie te valideren zijn de leerwinsten vergeleken van één tekst die door meerdere proefpersonen gelezen is maar die voor hen een verschillende dekkingsgraad had. Deze tekst is gelezen door 18 proefpersonen. Voor vier van hen had de tekst een lemmadekking van 92%, voor tien van hen een dekking van 90% en voor vier personen een dekking van 85%. Uit een One-Way ANOVA kwam naar voren dat er ook bij de leerwinst in deze tekst geen significant effect was voor mate van dekking (F (2,15) = 0.96, p =.41). Deze uitkomst bij een en dezelfde tekst bevestigt de conclusie die op grond van verschillende teksten getrokken was, namelijk dat er geen verschillen in leerwinst optraden tussen teksten met een verschillende mate van dekking tussen 85% en 92%, ondanks dat de studenten een verschillende woordenschatomvang hadden. Ook is nagegaan of er een verschil in leerwinst is tussen teksten binnen één maat van dekking. Daarbij zijn uitsluitend die teksten onderzocht die door meer dan twee personen gelezen zijn. In geen van de drie maten van dekking bleek er een verschil in leerwinst te zijn tussen proefpersonen die verschillende teksten lazen (One-Way ANOVA, F92% (7,30) = 0.23, p =.97; F90% (12,32) = 0.74, p =.71; F85% (7,36) = 0.39, p =.90). Dit geeft aan dat er geen verschil in moeilijkheidsgraad was tussen verschillende teksten die voor verschillende leerders een zelfde mate van dekking hadden. Dit is een ondersteuning voor de aanname dat de teksten met dezelfde dekkingsgraad inderdaad even moeilijk zijn voor de leerders met verschillende woordenschatkennis. De leerwinsten in dit experiment lijken lager dan de scores in eerder onderzoek naar het incidenteel leren van woorden bij het lezen van teksten met een woordenboek. Knight (1994) vond scores die varieerden van 51% tot 55%. Chun & Plass (1996) vonden in een vergelijkbaar onderzoek zelfs scores van 77%. In deze onderzoeken is echter geen pretoets afgenomen. Hun leerwinst is alleen gebaseerd op een posttest, waarbij werd aangenomen dat alle doelwoorden vooraf onbekend waren. Op deze wijze gedefinieerd, zou de leerwinst in het hier beschreven onderzoek 78% zijn. In ander onderzoek zijn hogere (Laufer & Hill, 2000) of juist lagere (Hulstijn e.a., 1996) scores op toetsen gevonden, maar hierbij werd de kennis van de woorden productief getoetst. Het gebruik van het woordenboek. Tijdens het experiment zochten de proefpersonen gemiddeld 8.0 doelwoorden op in het woordenboek (sd = 5.2). Om onderzoeksvraag 3 te beantwoorden is eerst nagegaan hoeveel van deze opgezochte doelwoorden feitelijk onbekend waren op de curriculumafhankelijke pretest. Dit is weergegeven in tabel 2. Tabel 2. Aantal onbekende doelwoorden per proefpersoon dat in het woordenboek is opgezocht N opgezochte woorden Sd Percentage van de onbekende woorden Alle teksten 3.6 3.0 36.0 92% lemmadekking 1.1 1.3 38.0 90% lemmadekking 1.3 1.3 32.9 85% lemmadekking 1.1 1.2 30.3 Uit tabel 2 blijkt dat per proefpersoon in het gehele experiment gemiddeld 3.6 woorden zijn opgezocht die zij niet kenden. Onbekende woorden zijn daarbij gedefinieerd als die
8 Hootsen, van der Werf & Vermeer woorden waarop een proefpersoon in de pretoets een fout antwoord gaf. Gemiddeld was dit 36.0% van het totale aantal onbekende woorden. De proefpersonen zochten dus van slechts een derde van de voor hen onbekende woorden de betekenis op. In elk van de drie dekkingsmaten (92%, 90% en 85%) zochten de proefpersonen gemiddeld steeds iets meer dan één onbekend woord op. Uit een ANOVA voor repeated measures blijkt dat het opzoekgedrag in de drie dekkingsmaten niet significant van elkaar verschilde (aantal opgezochte woorden: Wilks Lambda =.94, F (2,36) = 1.10, p =.35; percentage van onbekende woorden: Wilks Lambda =.91, F (2,31) = 1.46, p =.25). Om na te gaan of er in dit onderzoek een relatie was tussen het opzoeken van onbekende woorden en het leren ervan, is er tussen opzoeken en leren eerst per proefpersoon een phi-correlatie berekend (Hegelheimer & Chapelle, 2000). Bij 34 proefpersonen kon voor deze onbekende doelwoorden een phi-correlatie berekend worden. Die bedroeg gemiddeld.35. Dit is een gemiddelde correlatie (Cohen, 1988). Als een proefpersoon een onbekend woord opzoekt, neemt de kans toe dat hij of zij dat woord ook onthoudt. Voor de afzonderlijke items bleek het verband tussen opzoeken en onthouden van onbekende woorden sterker te zijn. De phi-correlatie bedroeg hierbij gemiddeld.48, wat eveneens een gemiddelde correlatie is (Cohen, 1988). Dit betekent dat als de betekenis van een onbekend woord wordt opgezocht, de kans dat dit woord onthouden wordt toeneemt. Als antwoord op onderzoeksvraag 3 kan daarom gesteld worden dat er inderdaad een verband is tussen het opzoeken van onbekende woorden en het onthouden daarvan. Ook in eerder onderzoek is nagegaan of er een verband is tussen het opzoeken van onbekende woorden en het onthouden daarvan. Zo vond Knight (1994) Pearson correlatie-coëfficiënten tussen het aantal opgezochte woorden en scores op een woordenschattoets van.40 voor leerders met een grote woordenschat en van.54 voor leerders met een kleine woordenschat. Laufer & Hill (2000) vonden Spearman correlaties van.35 en.24 tussen het aantal doelwoorden dat opgezocht werd en het aantal dat onthouden werd. Een op deze wijze berekende correlatie (Pearson) bedraagt in het hier beschreven onderzoek.65 (p =.000). Deze correlaties geven aan dat hoe meer woorden proefpersonen opzochten, hoe meer woorden zij ook leerden, hoewel dat verband bij Laufer & Hill (2000) zwak is. In beide onderzoeken is echter niet onderzocht of precies die doelwoorden die opgezocht werden ook geleerd zijn. Bij de berekening van de phi-correlatie, zoals in ons onderzoek, wordt daar wél rekening mee gehouden. De door ons gevonden correlaties geven aan dat als een onbekend woord opgezocht wordt, de kans toeneemt dat dat specifieke woord ook onthouden wordt. 6 Conclusies en discussie In deze studie is de effectiviteit onderzocht van het implementeren van geautomatiseerde adaptiviteit in een e-learning applicatie. Tweede-taalleerders van het Nederlands kregen op grond van een inschatting van hun woordenschatomvang drie leesteksten aangeboden die waren afgestemd op hun individuele niveau van taalvaardigheid. De teksten lagen qua moeilijkheid net iets boven het niveau van de leerder, met een lemmadekking van 85%, 90% en 92%. Op grond van de woordenschatomvang werd ook een geïndividualiseerd woordenboek gegenereerd door de computer. Daarbij waren in de tekst alleen die lemma s aanklikbaar die een lagere
E-learning op maat: automatische geïndividualiseerde materiaalselectie 9 frequentie hadden dan de vastgestelde woordenschatomvang van de lezer. Om na te gaan of de gelezen teksten inderdaad begrijpelijk waren, is voor de drie dekkingsgraden onderzocht of de proefpersonen incidenteel woorden leerden door het lezen van deze teksten. Daarnaast is nagegaan of het woordenboek gebruikt werd en of de leerders baat hadden bij het gebruik ervan. Uit de resultaten komt naar voren dat de proefpersonen de aanvankelijk onbekende woorden leren als zij leesteksten krijgen aangeboden die op hun individuele niveau zijn afgestemd. Gemiddeld was er in dit onderzoek 32,5% leerwinst. Er zijn geen verschillen in leerwinst gevonden voor (a) teksten die een verschillende mate van dekking hadden (92%, 90% en 85%) voor dezelfde proefpersonen en (b) voor dezelfde tekst die voor verschillende proefpersonen een andere mate van dekking had (85% voor de ene leerder, 90% of 92% voor een ander). Ook binnen de drie maten van dekking was er geen verschil in leerwinst tussen verschillende proefpersonen. Deze resultaten geven aan dat teksten met een zelfde mate van dekking voor leerders met een verschillende woordenschatomvang even moeilijk waren. De bevinding dat leerders met een verschillende woordenschatkennis gemiddeld toch evenveel leerden van dezelfde tekst, (die voor hen dus een verschillende mate van dekking had), geeft aan dat teksten met alle drie de onderzochte maten van dekking (92%, 90% en 85%) begrijpelijke input vormen voor de onderzochte groep leerders. Voor het incidenteel leren van onbekende woorden (met hulp van een woordenboek) zijn alle drie de maten van dekking dus geschikt. De score van de proefpersonen op de tekstbegripvragen bij teksten met een verschillende mate van dekking zijn in dit onderzoek niet meegenomen. Mogelijk wordt de mate van tekstbegrip wel beïnvloed door de mate van dekking, zoals in eerder onderzoek is gevonden (Groot, 1994). De proefpersonen zochten gemiddeld 8.0 van de 30 doelwoorden uit de curriculumafhankelijke toets op. Ongeveer tweederde van de opgezochte woorden was al bekend op de pretest. Mogelijk hadden de proefpersonen veel antwoorden goed gegokt op de pretest en wilden ze de betekenis van die woorden nog eens nakijken. Dat studenten slechts een derde van de bij hen onbekende woorden opzochten komt mogelijk omdat zij dachten dat zij deze woorden wel kenden, of de betekenis ervan uit de context van de tekst konden afleiden. Het opzoeken van onbekende woorden bleek de proefpersonen wel te ondersteunen in het leren van woorden. Als een proefpersoon een woord opzoekt dan neemt de kans toe dat hij of zij dat woord ook onthoudt. Dit effect is vooral zichtbaar als gekeken wordt naar individuele woorden. Woordenschatkennis is een bruikbaar criterium gebleken voor de selectie van begrijpelijk lesmateriaal. In het hier gepresenteerde onderzoek is die kennis alleen vóór de treatment gemeten. Een mogelijke verbetering in ons E-learning model zou zijn om een explicietere inschatting te maken van de woordenschatkennis van studenten op basis van de woorden die zij gezien hebben. Als een leerder een aantal teksten gelezen heeft volgens de in dit onderzoek gebruikte methode, dan is bekend welke lemma s die persoon gezien heeft in de teksten. Op basis daarvan kan worden vastgesteld welke woorden een leerder kent of kan kennen, bijvoorbeeld op basis van de aanname dat een onbekend woord bekend is als het vijf keer gezien is in een begrijpelijke context (Nation, 2001). Op basis hiervan kan dan tijdens de treatment de inschatting van de woordenschatomvang van een leerder naar boven worden bijgesteld. Ook kan deze kennis dan gebruikt worden voor selectie van nieuwe leesmaterialen (Ghadirian, 2002). Een tweede verbetering van ons model is het opnemen van andere aspecten van taal in het woordenboek, zoals derivationele morfologie, in de vorm van het aanbieden van
10 Hootsen, van der Werf & Vermeer expliciete grammaticale of morfologische regels. Daarbij speelt mogelijk ook de leerstijl van leerders een rol (Oxford, 1989), een derde aspect dat in dit onderzoek niet aan bod is gekomen. In vervolgonderzoek (De Milliano, Vermeer, Hootsen & Van der Werf, aangeboden) is onderzocht of het zinvol is om leerders met verschillende leerstijlen individueel toegesneden informatie aan te bieden, door bijvoorbeeld analytische leerders in het woordenboek regels uit te leggen en holistische leerders meer voorbeelden van gebruik te geven. Op deze wijze komen we steeds dichter bij een E- learning model waarin de computer eigenschappen van een taalleerder en van het lesmateriaal kan bepalen, opdat deze eigenschappen kunnen worden ingezet in het ondersteunen van individuele tweede-taalleerders in hun taalverwerving Bibliografie Appel, R., & Vermeer, A. (1997). Mnemosyne en de woorden. Of: onthouden leerlingen de woorden die ze krijgen aangeboden? Spiegel, 15, 42-59. Blöchl, M., Rumetshofer, H., & Wöss, W. (2003). Individualized e-learning systems enabled by a semantically determined adaptation of learning fragments. Proceedings of the 14th international workshop on database and expert system applications, 640-645. (http://doi.ieeecomputersociety.org/10.1109/dexa.2003.1232094) Burnage, G. (1990). CELEX - A guide for users. Nijmegen: Centre for Lexical Information, University of Nijmegen. Chun, D.M., & Plass, J.L. (1996). Effects of multimedia annotations on vocabulary acquisition. The modern language journal, 80, 183-198. Cohen, J.W. (1988). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Erlbaum Associates. Ellis, N.C. (1994). Vocabulary acquisition: The implicit ins and outs of explicit cognitive mediation. In: N.C. Ellis (ed.), Implicit and explicit learning of languages (pp. 211-282). Londen [etc.]: Academic Press. Ghadirian, S. (2002). Providing controlled exposure to target vocabulary through the screening and arranging of texts. Language Learning & Technology, 6, 147-164. Groot, P.J.M. (1994). Tekstdekking, tekstbegrip en woordselectie voor het vreemdetalenonderwijs. In: Toegepaste taalwetenschap in artikelen, 3, 111-121. Groot, P.J.M. (2000). Computer assisted second language vocabulary acquisition. Language Learning & Technology, 4, 60-81. Hazenberg, S. (1994). Een keur van woorden - De wenselijke en feitelijke receptieve woordenschat van anderstalige studenten. Amsterdam: Vrije Universiteit. Hegelheimer, V., & Chapelle, C.A. (2000). Methodological issues in research on learner-computer interactions in CALL. Language Learning & Technology, 4, 41-59. Hill, M., & Laufer, B. (2003). Type of task, time-on-task and electronic dictionaries in incidental vocabulary acquisition. International Review of Applied Linguistics in Language Teaching, 87-106. Hulstijn, J.H. (1992). Retention of inferred and given word meanings: Experiments in incidental vocabulary learning. In: P.J.L. Arnaud & H. Béjoint (eds.), Vocabulary and applied linguistics (pp. 113-125). Houndmills (etc.): Macmillan Academic and Professional Ltd.. Hulstijn, J., Hollander, M., & Greidanus, T. (1996). Incidental vocabulary learning by advanced foreign language students: the influence of marginal glosses, dictionary use, and reoccurrence of unknown words. The modern language journal, 80, 327-339. Jacobs, G.M., Dufon, P., & Fong, C.H. (1994). L1 and L2 vocabulary glosses in L2 reading passages: their effectiveness for increasing comprehension and vocabulary knowledge. Journal of Research in Reading, 17, 19-28. Jones, L. (2004). Testing L2 vocabulary recognition and recall using pictorial and written test items. Language Learning & Technology, 8, 122-143.
E-learning op maat: automatische geïndividualiseerde materiaalselectie 11 Knight, S. (1994). Dictionary use while reading: the effects on comprehension and vocabulary acquisition for students of different verbal abilities. The modern language journal, 78, 285-299. Krashen, S.D. (1987). Principles and practice in second language acquisition. Englewood Cliffs, N.J. [etc.]: Prentice-Hall international. Laufer, B. (1989). What percentage of text-lexis is essential for comprehension? In: C. Lauren & M. Nordmann (eds.), Special language: from humans thinking to thinking machines (pp. 316-323). Clevedon: Multilingual Matters. Laufer, B. (1992). How much lexis is necessary for reading comprehension. In: P.J.L. Arnaud & H. Béjoint (eds.), Vocabulary and Applied Linguistics (pp. 126-132). Houndmills (etc.): Macmillan Academic and Professional Ltd. Laufer, B. (1997). The lexical plight in second language reading. Words you don't know, words you think you know and words you can't guess. In: J. Coady & T. Huckin (eds.), Second language vocabulary acquisition (pp. 20-34). Cambridge, New York, Melbourne: Cambridge University Press. Laufer, B., & Hill, M. (2000). What lexical information do L2 learners select in a call dictionary and how does it affect word retention? Language Learning & Technology, 3, 58-76. Milliano, I. de, Vermeer, A., Hootsen, G., & van der Werf, R. (aangeboden). Affix-informatie, woordenboekgebruik, transfer en taalleerstijl bij tweede-taalverwervers in een elektronische leeeromgeving. Mondria, J.A. (1996). Vocabulaireverwerving in het vreemde talenonderwijs. De effecten van context en raden op retentie. Groningen: Rijksuniversiteit Groningen. Nation, P. (2001). Learning vocabulary in another language. Cambridge: Cambridge University Press. Nieuwborg, E. (1992). Tekstdekking en tekstbegrip. Een experimenteel onderzoek. In: A. Helbo (ed.), Evaluation and language teaching. Liber amircorum Frans van Passel (pp. 273-289). Bern: Peter Lang. Oxford, R. (1989). The use of language learning strategies: A synthesis of studies with implications for strategy training. System, 12, 235-247. Paribakht, T.S., & Wesche, M. (1997). Vocabulary enhancement activities and reading for meaning in second language vocabulary acquisition. In: J. Coady & T. Huckin (eds.), Second language vocabulary acquisition (pp. 174-200). Cambridge, New York, Melbourne: Cambridge University Press. Plass, J.L., Chun, D.M., Mayer, R.E., & Leutner, D. (1998). Supporting Visual and Verbal Learning Preferences in a Second-Language Multimedia Learning Environment. Journal of Educational Psychology, 90, 25-36. Ridder, I. de, (2002). Visible or invisible links: Does the highlighting of hyperlinks affect incidental vocabulary learning, text comprehension, and the reading process? Language Learning & Technology, 6, 123-146. Rott, S. (1999). The effect of exposure frequency on intermediate language learners' incidental vocabulary acquisition and retention through reading. Studies in Second Language Acquisition. 21, 589-619. Verhoeven, L., & Vermeer, A. (1996). Taalvaardigheid in de bovenbouw: Nederlands van autochtone en allochtone leerlingen in het basis- en mlk-onderwijs. Tilburg: Tilburg University Press. Vermeer, A. (2001). Breadth and depth of vocabulary in relation to L1-L2 acquisition and frequency of input. Applied Psycholinguistics, 22, 217-234. Vermeer, A. (2000). Lexicale rijkdom, tekstmoeilijkheid en woordenschatgrootte. Beschrijving van de MLR, een woordenschat-analyseprogramma. Toegepaste Taalwetenschap in Artikelen, 64, 95-105 Watanabe, Y. (1997). Input, intake and retention - effects of increased processing on incidental learning of foreign language vocabulary. Studies in Second Language Acquisition, 19, 287-307. Wesche, M.B., & Paribakht, T.S. (2000). Reading-based exercises in second language vocabulary learning: An introspective study. Modern Language Journal, 84, 196-213.
12 Hootsen, van der Werf & Vermeer abstract Adaptive E-learning: individualized selection of curriculum materials in second language teaching The present study explored the effect of reading texts in an electronic learning environment for 46 adult second language learners of Dutch with different proficiency levels. The reading materials were selected dynamically, based on the fit between the vocabulary proficiency of individual students and the relative difficulty of the texts. Text difficulty was determined on the basis of the relative proportion of words unknown to the learner (lemma coverage). The texts were analyzed, selected and presented online, accompanied by a personalized electronic dictionary with words that were assumed to be unknown to the reader. The vocabulary learned implicitly while reading was measured in a pretest treatment posttest design. The learners read three texts, with lemma coverages of 92%, 90% and 85%, respectively. The relation between dictionary use and word retention was also examined. The study revealed an average word-learning improvement of 32,5%, with no differences between texts with a 92%, 90% or 85% lemma coverage. With respect to dictionary use, the learners looked up an average of 8.0 words. Two-thirds of these words were known to them; they looked up only one-third of the unknown words. We found there was a relation between dictionary use and the retention of unknown words. We concluded that the method we propose for an automated adaptive selection of reading texts and individualized dictionaries ensures that learners of different proficiency levels receive linguistic input that is best suited to their abilities.