ONLINE KRANTEN, EEN MODEL VAN DE (TWEEDE-)TAALLEERDER EN HET GENEREREN VAN ADAPTIEF LESMATERIAAL

Transcriptie

1 ONLINE KRANTEN, EEN MODEL VAN DE (TWEEDE-)TAALLEERDER EN HET GENEREREN VAN ADAPTIEF LESMATERIAAL Rintse van der Werf & Anne Vermeer, Communicatie- & Informatiewetenschappen, Universiteit van Tilburg 1 Inleiding In goed taalonderwijs wordt elke leerling lesmateriaal aangeboden dat past bij zijn of haar eigen niveau, leerdoelen en leerstijl (Ellis, 1994). De grote variatie in niveau, leerdoelen en leerstijl tussen leerlingen stelt docenten echter voor een zware taak. E- learning systemen kunnen docenten ondersteunen bij het selecteren van begrijpelijk lesmateriaal door bijvoorbeeld de niveaubepaling en materiaalbewerking deels te automatiseren (Brusilovsky, 1996). Daarnaast kunnen leerlingen door deze systemen zelfstandig aan hun taalvaardigheid werken met bestaande leermiddelen of authentiek materiaal zoals krantenteksten. Daarom wordt de inzet van ICT gezien als mogelijk antwoord op de roep om adaptiever, interactiever en authentieker taalonderwijs. In dit artikel staat de werking van een E-learningsysteem met automatisch gegenereerde en verrijkte krantenteksten centraal ( nieuwslezer ). Als voorbereiding op een onderzoek bij laagtaalvaardige leerlingen op een VMBO-school, is dagelijks door gesimuleerde lezers ingelogd in ons systeem waarna een actueel bericht uit de krant van die dag is geselecteerd, passend bij het individuele woordenschatniveau van de betreffende lezer. De berichten zijn automatisch verrijkt met extra contextinformatie bij moeilijke woorden (concordantie zinnen) en tevens wordt per bericht een opdracht (in de vorm van een cloze-taak) gegenereerd. Daarnaast wordt feedback geleverd over de resultaten in termen van woordenschatgroei. Al het (gesimuleerde) leerlinggedrag wordt gelogd en gebruikt om online een model van het taalniveau van de leerling op te bouwen. Deze studie maakt onderdeel uit van het NWO/PROO-project Models of Adaptive Second Language Acquisition (MASLA, zie dat onderzoekt hoe via de computer automatisch op iedere leerling toegesneden lesmateriaal aangeboden kan worden. MASLA concentreert zich enerzijds op de vraag hoe de computer eigenschappen van een taalleerder en van lesmateriaal kan bepalen. Anderzijds houdt het onderzoeksproject zich bezig met de vraag hoe deze aspecten kunnen worden ingezet in het ondersteunen van individuele (tweede-) taalverwervers. In de volgende paragrafen bespreken we eerst de uitgangpunten, het ontwerp en de ervaringen uit eerder onderzoek met de nieuwslezer, alsook de effectiviteit van het selectiemechanisme van de teksten. Vervolgens gaan we in op de vraag of de nieuwslezer bruikbaar is om het taalaanbod van leerlingen gecontroleerd te vergroten (zijn de teksten niet te moeilijk?), en in hoeverre die gedifferentieerde sturing kan leiden tot een toename van hun woordenschat (leren ze nieuwe woorden, en hoeveel?).

2 2 Van der Werf & Vermeer 2 User model: structuur voor niveaubepaling en voorkeuren Personalisatie en adaptiviteit zijn principes waarmee de effectiviteit van onderwijsapplicaties kan worden verbeterd door aan te sluiten bij de wensen en behoeftes van een individuele gebruiker (Brusilovsky & Peylo, 2003). De gebruiker staat centraal, en informatie over relevante gebruikerskenmerken is daarvoor essentieel. In adaptieve systemen wordt deze informatie vastgelegd in het gebruikersmodel (user model). Bij een domeinspecifiek gebruikersmodel zijn de gegevens gerelateerd aan een specifiek domein, zoals de mate van beheersing van een vaardigheid in dit domein, of de voorkeur voor een bepaald type inhoud. Domeinspecifieke modellen omvatten zowel de domeininhouden (of domeinconcepten) als de status van de individuele gebruiker voor die domeinconcepten. Voorbeelden van status zijn dan per gebruiker: de mate van bekendheid met concept x (DeBra et al., 2003), de mate van geschiktheid om te beginnen met concept x (Brusilovsky & Rizzo, 2003), of de mate van interesse voor concept x (Conlan, O Keeffe & Tallon, 2006). In het MASLA-onderzoek is er sprake van een taalspecifiek gebruikersmodel waarin wordt vastgelegd welke en hoeveel woorden iemand kent. Dit is relevant omdat we op basis van deze informatie kunnen bepalen of een tekst begrijpelijk is voor een lezer, en omdat de lezer daardoor de onbekende woorden van de tekst zou kunnen leren. Om maximale leerwinst te behalen uit een tekst moet die begrijpelijk zijn, maar wel net boven het huidige niveau van een lezer liggen (Hulstijn, Hollander & Greidanus, 1996; Jones, 2004; Nation, 2001; De Ridder, 2002). In dit onderzoek is begrijpelijk gedefinieerd in termen van woordenschatkennis en tekstdekking. Tekstdekking is het relatieve aantal bekende woorden in een tekst, uitgedrukt in percentages. Hoewel de precieze relatie tussen tekstdekking en tekstbegrip afhankelijk is van meerdere factoren woordkennis, kennis van de wereld, onderwerp, teksttype is voor een redelijk tekstbegrip een tekstdekking nodig van 87% (Hazenberg, 1994). Bij die tekstdekking kan een lezer ook onbekende woorden leren. In zijn algemeenheid geldt dat het belangrijkste criterium voor het opnemen van kenmerken in het gebruikersmodel is: de relevantie voor de te gebruiken adaptiviteitsregels. Als interesse een belangrijke motiverende factor is, dan moet de interesse van de gebruiker voor deze onderwerpen verzameld en vastgelegd worden in het gebruikersmodel. Aangezien een gebruikersmodel al een verzameling domeinconcepten omvat, kan hieruit informatie afgeleid worden door het doen van inferenties over dit domein. Als een gebruiker aangeeft geïnteresseerd te zijn in sport, dan kan op basis van een ontologie van sportconcepten worden afgeleid dat de gebruiker geïnteresseerd zou kunnen zijn in een artikel over voetbal (interesse voor subconcept impliceert hier kennis over het super-concept en vice versa). Een andere manier om concepten te organiseren is op basis van het vaak samen voorkomen van concepten.(brusilovsky & Rizzo, 2003). Een artikel over voetbal valt dan onder het overkoepelende cluster sport. Grote voordeel van deze laatstgenoemde methode is dat er geen domeinexperts nodig zijn om a-priori concepten en relaties tussen deze concepten te definiëren, waardoor het handmatig structureren van het domeinmodel niet meer nodig is. De verzameling (les)materialen kan dan automatisch en relatief eenvoudig uitgebreid worden, en een zogenaamd open corpus behoort dan tot de mogelijkheden (Brusilovsky & Rizzo, 2003). Naast de domeininhouden en de manier waarop deze zijn georganiseerd, is het vastleggen van de status van de individuele gebruiker op deze domeininhouden essentieel voor een gebruikersmodel. De informatie over de gebruiker kan expliciet

3 Online kranten en het genereren van adaptief lesmateriaal 3 worden verzameld door direct zijn kennis van bepaalde inhouden en/of concepten te testen (Conejo et al., 2004), of door direct te vragen naar interesses en/of voorkeuren. Zo wordt in het MASLA-project aan het begin het vocabulaire van de deelnemers getoetst en op basis daarvan een schatting gemaakt van de omvang van hun woordenschat. Ook wordt naar taalachtergrond gevraagd om bij woorden die voor de lezer onbekend zijn, een vertaling in de eigen taal te kunnen geven. Daarnaast kan de lezer een voorkeur uitspreken voor een bepaald onderwerp: sport, politiek, enzovoorts. De voor het gebruikersmodel relevante informatie kan ook impliciet uit gebruikersgedrag worden afgeleid. Daarbij worden data over het werkelijke gedrag van gebruikers opgeslagen, en vervolgens geïnterpreteerd. Voorbeelden zijn patronen in het klikgedrag en zoekgedrag, of het herhaald kiezen van teksten met bepaalde concepten erin. Deze gegevens worden vervolgens geïnterpreteerd als individueel bewijs voor de beheersing van, of interesse voor, een specifiek domeinconcept. Iemand die vaak informatie over de morfologische regels van een woord aanklikt, kan dan worden gekarakteriseerd als iemand die grammaticale uitleg wil. Bij deze lezer wordt vervolgens ook bij andere taalstructuurregels morfologische en syntactische informatie aanklikbaar. Op deze manier kunnen, naast de hierboven genoemde gebruikersdata (taalachtergrond, woordenschatniveau, bevraagde interesse of voorkeur) ook gebruiksdata (klikgedrag, gebruiksfrequenties, handelingspatronen) via een interpretatieslag omgezet worden naar relevante gebruikersdata (Kobsa & Schreck, 2003), die vervolgens weer worden gebruikt in de adaptiviteitsregels. 3 Gebruikersmodel in het MASLA-project: Alane software Zoals boven aangegeven, is het criterium voor het opnemen van kenmerken in het gebruikersmodel de relevantie voor de te gebruiken adaptiviteitsregels. In het MASLAproject hebben we op basis van een aantal deelonderzoeken, alle met (beginnende en gevorderde) tweede-taalverwervers van het Nederlands, de volgende adaptiviteitsregels geïmplementeerd in de Alane-software (Adaptive Language Engine). (1) Het aanbieden van teksten op het juiste niveau zorgt voor effectief leren (Heilman et al., 2006; Huang & Liou, 2007). In Hootsen, Van der Werf en Vermeer (2007) is nagegaan of het toepassen van tekstdekking van 85%, 90% en 92% geschikt was als selectiemechanisme voor teksten in een nieuwslezer. Op alle drie de dekkingsniveaus werden door NT2-leerders (in woordenschat variërend van tot ) woorden geleerd uit de teksten, waarbij er geen significante verschillen waren tussen niveaus qua leerwinst (gemiddeld 32%, pretest-posttest). Dit komt overeen met eerder onderzoek waarin lezers incidenteel nieuwe woorden leren uit teksten (Hulstijn, 1992; Knight, 1994; Rott, 1999). We vonden ook geen significante verschillen tussen de drie dekkingsniveaus qua gedrag (klikgedrag en raadplegen van hulpbronnen). (2) Het aanbieden van extra ondersteuning op de juiste plaats op het juiste moment leidt tot effectief leren. In een drietal onderzoeken (Hootsen, Van der Werf & Vermeer, 2007; De Milliano, Vermeer, Hootsen & Van der Werf, 2008; Van der Werf, Hootsen & Vermeer, 2008) vonden wij dat het opzoeken van woordbetekenis leidt tot hogere retentie: opgezochte woorden worden beter onthouden dan niet-opgezochte woorden. Dit komt overeen met eerder onderzoek waarin is aangetoond dat het gebruik van een woordenboek leidt tot meer incidenteel leren van woorden dan het lezen van een tekst

4 4 Van der Werf & Vermeer zonder extra ondersteuning (Hulstijn e.a., 1996; Laufer & Hill, 2000; Watanabe, 1997). Dit blijkt vooral het geval te zijn als er naast de gebruikelijke woordenboekinformatie meerdere soorten informatie beschikbaar zijn, zoals contextzinnen (Chun & Plass, 1996; Jones, 2004). Uit ons onderzoek bleek verder dat het opzoeken van woordvormingsregels leidt tot verwerving van woorden met die regels, en tot transfer van die kennis over het type regels bij woorden die de lezer niet tegengekomen was. (3) Het toevoegen van activerende taken op het juiste niveau bij het te leren materiaal leidt tot effectief leren. Hoe meer handelingen lezers uitvoeren met een onbekend woord, hoe beter zij dat woord onthouden (Hill & Laufer, 2003; Wesche & Paribakht, 2000). In een aantal onderzoeken (Cobb, 2007; Peters, 2007) worden verschillende typen oefeningen en taken aangeboden om de leerders op zoveel mogelijk manieren met de lesinhouden te laten werken. De mate waarin daarvan gebruik wordt gemaakt valt echter tegen (Cobb, 2007; Huang & Liou, 2007; Peters, 2007). (4) Het aanbieden van teksten die passen bij de interesse van de leerling werken motiverend (Conlan et al., 2006). Gebruiker-lemma-model Het voor Alane meest relevante kenmerk uit het gebruikersmodel is de bekendheid van een lemma bij de individuele gebruiker: het gebruiker-lemma-model. Dit model is in essentie een lexicon van alle woorden uit de Nederlandse taal met daarbij een aantal voor de adaptiviteitsregels relevante woordkenmerken en relaties. Het gebruikerslemma-model wordt gebruikt in het aanbieden van teksten op het juiste niveau op basis van tekstdekking. Tekstdekking is een maat die per gebruiker en per tekst wordt berekend door het aantal bij de gebruiker bekende lemma s te delen door het totaal aantal lemma s in de tekst. Om deze berekening te kunnen maken bestaat het gebruikersmodel dus uit een netwerk van woorden met per woord informatie over de bekendheid bij de gebruiker van dit woord: iemands woordenschat. Deze informatie over iemands woordenschat wordt in Alane opgebouwd vanuit twee bronnen: (1) een globaal woordenschatniveau waaronder alle woorden als bekend worden verondersteld en (2) specifieke kennis over bekendheid van individuele woorden. Het globale woordenschatniveau wordt bepaald door het resultaat van een woordenschattoets te extrapoleren naar een enkele, vaste waarde: vocabulaireniveau. De woorden met een frequentie boven dit niveau (meer frequent) worden als bekend verondersteld. De woorden met een frequentie onder dit niveau (minder frequent) worden als onbekend verondersteld. De woorden zijn geordend door het op frequentie sorteren van de lijst van lemma s uit het Celex corpus (Burnage, 1990). Gezien de omvang en representativiteit van dat corpus en het feit dat we, gegeven de beoogde doelgroep relatief laagtaalvaardigen, ons voornamelijk richten op de 10 à meest frequente woorden, is dit een voor ons doel betrouwbaar en valide corpus. Specifiek woordenschatniveau wordt bepaald door het monitoren van gebruiksdata. Deze gebruiksdata worden geïnterpreteerd op grond van uitkomsten van onderzoek over de relatie tussen vrij lezen en woordverwerving. Daaruit blijkt dat als een lezer een bepaald woord vijf keer is tegengekomen in drie verschillende teksten, deze dat woord verworven heeft (Nation, 2006; Cobb, 2007; McQuillan & Krashen, 2008). Deze interpretaties leiden dus tot aannames over het leren van nieuwe woorden uit teksten en daarmee wordt het gebruiker-lemma-model aangevuld op basis van gebruiksdata. Gebruiksdata bestaan binnen Alane uit drie soorten: (1) het aantal maal dat tokens en lemma s voorkomen in de teksten die worden gelezen, (2) positief en negatief bewijs uit

5 Online kranten en het genereren van adaptief lesmateriaal 5 de handelingen (taken/opdrachten) die met de woorden worden uitgevoerd en (3) bewijs uit het wel/niet aanklikken van links naar extra informatie over een woord. Deze informatie wordt vastgelegd in het gebruikersmodel (zie Figuur 2) in respectievelijk het exposure model, het task result model en het information request model. In het exposure model worden de tellingen bijgehouden van het aantal keer dat de lezer een specifiek token heeft gezien en het aantal teksten waarin dit is gebeurd. Deze gegevens zijn gekoppeld aan geannoteerde kenmerken van deze tokens uit Celex, zoals bijvoorbeeld frequentie, lemmatisering en grammaticale kenmerken (werkwoord, naamwoord, morfologische samenstelling). In het task result model worden resultaten uit opdrachten bijgehouden. Binnen Alane worden deze opdrachten (cloze-taken) real-time gegenereerd bij de actuele teksten. Daarbij worden als doelwoorden alleen tokens gebruikt die (1) in de net gelezen tekst voorkomen en (2) die op basis van het exposure model als onbekend worden verondersteld. Op deze wijze worden er alleen taken gegenereerd voor die woorden die tot de leerdoelen van de tekst behoren. In het information request model wordt bijgehouden over welke tokens de gebruiker hulp heeft opgevraagd en welke type informatie is gekregen. Analoog aan het task result model zijn hier alleen die woorden opgenomen die tot de leerdoelen behoren. Alleen die woorden waren aanklikbaar in de teksten. Als informatietype is in het hier beschreven onderzoek alleen gebruik gemaakt van voorbeeldzinnen in de doeltaal (concordanties). 4 Vraagstelling, opzet en uitvoering van het onderzoek De in paragraaf 3 beschreven adaptiviteitsregels hebben we in eerder onderzoek geschikt bevonden (Hootsen et al., 2007; De Milliano et al., 2008; Van der Werf et al., 2008). Dat gebeurde echter met een gesloten corpus met een relatief gering aantal teksten, en in één of twee gecontroleerde sessies van maximaal twee uur. In het hier beschreven onderzoek wordt een tiental online bronnen met honderden teksten per dag gebruikt als basis voor de tekstselectie. Daarnaast wordt de periode uitgebreid naar een aantal weken waarin meerdere teksten gekozen kunnen worden. Primair doel van het onderzoek is het evalueren van het principe van tekstdekking gedurende een langere periode met meerdere, verschillende teksten. Doordat het gebruikersmodel dagelijks wordt aangevuld met nieuwe teksten is er invloed van het dynamisch groeiende gedeelte van het model te verwachten, namelijk de woorden die de lezer dagelijks tegenkomt in de teksten en die aan zijn woordenschat toegevoegd worden als verworven. De vraag is dan hoe het exposure model zich ontwikkelt ten opzichte van het aantal gelezen teksten. Om deze dynamische ontwikkeling van het gebruikersmodel te evalueren zijn de volgende deelvragen geformuleerd. De eerste is relevant voor de vraag of het dagelijkse aanbod van internet gehaalde nieuwsteksten wel geschikt is voor lezers van zoveel verschillende niveaus van woordenschat. De andere bevragen hoe snel de woordenschattoename is door het vrij lezen van authentieke teksten, en of er daarbij verschillen zijn tussen lezers van verschillende niveaus in woordenschat. (1) Welke teksten zijn gelezen en met welke tekstdekking? (2) Hoe verloopt het percentage nieuwe woorden in de teksten in de loop van de tijd? (3) Welke nieuwe woorden zijn geleerd (i.e., minimaal vijf keer gezien in drie teksten)?. (4) Wat is de relatie tussen het aantal nieuw geleerde woorden en het ingeschatte woordenschatniveau?

6 6 Van der Werf & Vermeer (5) Wat is de verhouding tussen het percentage dekking vanuit het ingeschatte woordenschatniveau, en het percentage vanuit het specifieke, dynamische niveau? 4.1 Procedure Voor de beantwoording van de vragen over de werking van het model is gekozen om te werken met dertig gesimuleerde lezers. Deze kregen handmatig een woordenschatniveau toegekend, gelijkmatig gespreid over de complete range waarop de woordenschattoets meet (van 500 woorden tot woorden). Aldus kunnen uitspraken worden gedaan voor alle niveaus waarvoor de nieuwslezer is ontworpen. 4.2 Teksten en tekstbronnen Voor het onderzoek wordt gebruik gemaakt van een verzameling nieuwsartikelen afkomstig uit tien RSS feeds ( van Nederlandse nieuwsbronnen (Dag, AD, Volkskrant, Telegraaf, NRC Handelsblad, NRCNext, jeugdjournaal.nl, NU.nl, Spits en Metro). In Tabel 1 staat een overzicht van het aantal ingelezen artikelen in een willekeurige week. In totaal zijn er in de periode november 2007 tot maart 2008 in totaal ruim teksten ingelezen, met daarin ruim 20 miljoen tokens (waarvan uniek). Tabel 1. Aantal ingelezen artikelen in een willekeurige week Maandag Dinsdag Woensdag Donderdag Vrijdag Zaterdag Zondag Teksten worden semantisch geclusterd door gebruik te maken van semantische analyse: SVD ( Daarbij wordt de net ingelezen tekst op woordniveau vergeleken met de laatste 100 teksten per nieuwsbron. Levert deze analyse een gelijkenis op van boven de.80 dan worden de teksten als gelijksoortig beschouwd en samengevoegd in een tekstcluster. Deze grenswaarde is pragmatisch gekozen en dient ervoor om te zorgen dat een leerling niet tweemaal eenzelfde tekst krijgt, bijvoorbeeld een ANP-artikel dat vrijwel identiek in meerdere kranten is gepubliceerd. 4.3 User tracking en de Alane software Voor het onderzoek is gebruik gemaakt van de hiervoor besproken Alane software. Het scherm van de nieuwslezer (zie Figuur 1) bestaat uit drie blokken: tekstweergave, hulp en opdracht. De teksten worden geselecteerd op basis van een dekkingpercentage dat zo dicht mogelijk ligt bij de 88%. In het tekst weergave blok zijn de 12% onbekende woorden zichtbaar geannoteerd door middel van een lichtrode achtergrond. Door te kllikken op een geannoteerd woord verschijnen er in het hulpblok rechts drie voorbeeldzinnen. Deze voorbeeldzinnen bestaan uit drie, door concordantie op het complete corpus verkregen, regels die op acht woorden vóór, en acht woorden ná het doelwoord zijn afgebroken. In het opdrachtscherm rechtsonder staat een formulier met daarin vijf zinnen waarvan het doelwoord in het midden is gesplitst in twee gelijke delen en waarvan het laatste gedeelte is vervangen door een invulveld: een cloze-taak. Deze is in Figuur 1 maar gedeeltelijk zichtbaar omdat de taak bij muis-over over de tekst heen

7 Online kranten en het genereren van adaptief lesmateriaal 7 schuift. Ook de doelwoorden uit de cloze-taak zijn weer afkomstig uit de 12% onbekende woorden in de tekst. Figuur 1. Nieuwslezer webapplicatie met leestekst, vertaling van een woord, voorbeeldzin en cloze-taak Op het moment dat er, na het lezen van de tekst en het maken van de cloze-taak, door de gebruiker op verstuur wordt gedrukt, worden allerlei gegevens weggeschreven in het eerder beschreven exposure model: welke tekst, welke woorden, wat was het dekkingspercentage op het moment dat de tekst is gelezen. Deze gegevens worden vervolgens doorgestuurd naar individuele tellers voor de tokens en lemma s die in de tekst voorkomen. Als een token bijvoorbeeld vijf keer in de tekst voorkomt, dan wordt de teller, voor deze specifieke gebruiker en voor dit specifieke token, met vijf opgehoogd. Als het woord bekend is in het Celex-corpus dan wordt het token tevens gekoppeld aan het bijbehorende lemma. Voor deze lemma s worden ook totaaltellers bijgehouden. Er wordt ook bijgehouden in hoeveel verschillende teksten een gebruiker een lemma/token heeft gezien. Naast bovenstaande gegevens wordt ieder woord dat is aangeklikt voor hulp in het information request model weggeschreven. De resultaten van de cloze-taak worden naar het task result model geschreven. In Figuur 2 staat schematisch weergegeven hoe de gebruiksdata vanuit de nieuwslezer naar het gebruikersmodel worden geschreven en daar worden geïnterpreteerd tot gebruikersdata die weer een rol spelen in de adaptieve tekstselectie en adaptieve hulp- en taakgeneratie in de nieuwslezer.

8 8 Van der Werf & Vermeer Figuur 2. Applicaties en hun relatie met het gebruikersmodel 5 Resultaten Gedurende tien dagen zijn er voor ieder van de dertig gesimuleerde gebruikers per dag drie teksten geselecteerd uit een corpus van 1200 actuele krantenberichten (maximaal 16 uur oud). Als doelpercentage voor tekstdekking is gekozen voor de eerder genoemde 88%. Alle teksten in het corpus worden per lezer geordend op dekkingspercentage en de teksten die het dichtst bij de 88% zitten zijn geselecteerd. Met deze 88% zitten we in het midden van de eerder gevonden effectieve range voor tekstdekking van 85% tot 92% (Van der Werf et al., 2007). Naast deze doelstelling qua dekking is er ook rekening gehouden met de onderwerpkeuze van de lezers. Als er binnen het gekozen onderwerp teksten waren te vinden met een maximale afwijking van 5%, dus tussen de 83% en 93%, dan werden die geselecteerd. Valt een tekst buiten deze range, dan wordt de voorkeur voor onderwerp opgerekt en worden er ook teksten met andere onderwerpen meegenomen. De werkelijke percentages per lezer zijn te vinden in Tabel 2. Lezers worden daarin aangeduid met de grootte van hun woordenschat. Voor de hogere niveaus zijn lezers samengevoegd omdat de gevonden percentages nauwelijks van elkaar verschillen. Tabel 2 laat zien dat alleen voor de twee lezers met de laagste woordenschat (500 en 1000 lemma s) de geselecteerde teksten onvoldoende dekking hebben. Tabel 2. Gemiddelde tekstdekking per lezer (aantal woorden x 1000) Woordenschat per lezer 0,5 1 1,5 2 2, ,5-12, Dekking (%)

9 Online kranten en het genereren van adaptief lesmateriaal 9 De percentages nieuwe woorden in de teksten die de lezers kregen aangeboden staan in Figuur 3. Het gaat hier om de eerste keer dat een woord voorkomt. De teksten zijn samengevoegd in groepen van vijf teksten. Daarnaast zijn de lezers onderverdeeld in drie niveaugroepen: laag (1), midden (2) en hoog (3), met respectievelijk een gemiddelde woordenschat van 2750, 7750 en woorden. Op de x-as staan de groepen van vijf teksten, op de y-as staan de percentages nieuwe woorden voor deze groepen percentage nieuwe woorden laag midden hoog tekstgroep Figuur 3. Percentage nieuwe woorden (eerste keer dat een woord voorkomt) per vijf teksten Voor de eerste tekst geldt uiteraard dat 100% van de lemma s nieuw is in het dynamische gebruikersmodel. Het percentage nieuwe woorden neemt af naarmate er meer teksten gelezen zijn. Pas vanaf 25 teksten lijkt het percentage nieuwe woorden tamelijk stabiel te worden. Bij de lezers met een geringe woordenschat daalt het percentage nieuwe woorden sneller, en ligt na 25 teksten het niveau lager, omdat het aandeel relatief hoogfrequente woorden (die dus vaak in een willekeurige tekst voorkomen) bij hen veel groter is dan bij lezers met een grote woordenschat. Bij een geringe woordenschat is de kans dat hetzelfde lemma vaker voorkomt immers groter als gevolg van de wet van Zipf (rangorde x frequentie is een constante). Het gevolg is dus ook dat die lezers met een lage woordenschat die nieuwe woorden vaker ook in andere teksten die ze lezen tegenkomen en bijgevolg leren ze relatief sneller woorden dan lezers met een grote woordenschat. Dat is goed te zien in Figuur 4, waarin het cumulatieve aantal geleerde lemma s is weergegeven. Dit zijn lemma s waarvoor geldt dat ze door de lezer minimaal vijf keer in drie verschillende teksten zijn tegengekomen. Net zoals in Figuur 3 zijn de lezers weer onderverdeeld in drie niveaugroepen. Op de x- as staan de groepen van vijf teksten, op de y-as staat het aantal geleerde woorden voor deze groepen. Conform verwachting is het aantal nieuw geleerde woorden groter naarmate het niveau van de lezers lager is. In Figuur 4 is te zien dat voor lezers met een geringe woordenschat het aantal geleerde woorden vanaf 15 teksten snel toeneemt. Bij lezers met een woordenschat van

10 10 Van der Werf & Vermeer gemiddeld woorden (niveaugroep 3) is dat pas na 25 teksten het geval. Bij hen is het aantal woorden dat al meerdere keren tegengekomen is en in de wachtrij staat om geleerd te worden, veel groter. Omdat het echter minder frequente woorden zijn, is de kans dat een woord in een willekeurige tekst weer voorkomt, geringer. 5 4 aantal geleerde woorden (cumulatief) 3 2 laag midden hoog tekstgroep Figuur 4. Aantal geleerde woorden per vijf teksten, cumulatief Voor de percentages verklaarde tekstdekking vanuit het dynamische model (i.e., het aantal nieuw geleerde woorden dat boven de basiswoordenschat die door de voortoets is vastgesteld, bijdraagt aan de tekstdekking) geldt dat 30 teksten een te gering aantal is om al effect te verwachten. Er zijn na 30 teksten nog te weinig nieuwe woorden geleerd, dus het effect van die geleerde woorden is zeer gering in de bepaling van tekstdekking voor nog te lezen teksten. Voor alle gebruikers geldt na 30 teksten dat er minder dan 1% verklaarde dekking is vanuit het dynamische model. 6 Conclusies en discussie Op basis van de gevonden tekstdekkingspercentages mag worden geconcludeerd dat tien actuele, automatisch van internet gehaalde nieuwsbronnen met een dagelijks corpus van ongeveer 1200 artikelen per dag, voldoende is voor de selectie van begrijpelijk lesmateriaal voor leerlingen met een woordenschat groter dan 1500 lemma s. De tekstdekking van drie dagelijks geselecteerde teksten valt binnen de eerder gevonden range voor effectief leren van woorden uit de context (tussen de 85% en 92% dekking). Lezers onder dit niveau kunnen mogelijk worden bediend door speciaal voor dit niveau geschreven teksten toe te voegen aan het corpus.

11 Online kranten en het genereren van adaptief lesmateriaal 11 Op basis van Figuur 3 mag worden geconcludeerd dat er na het lezen van 30 teksten bij de hogere woordenschatgroepen nog geen stabiel niveau is ontstaan in het aantal nieuwe woorden bij iedere gelezen tekst. Bij de lezers met een gemiddelde woordenschat van 2750 woorden lijkt dit wel het geval te zijn. Bij hen is na twintig teksten gemiddeld per tekst 4% van de woorden volstrekt nieuw. Bij de hogere woordenschatniveaus komt een lezer na 25 teksten ongeveer 6% van de woorden per tekst voor de eerste keer tegen. Op grond van Figuur 4 kunnen we concluderen dat er nog geen stabiele trend is in het aantal nieuw geleerde woorden bij iedere gelezen tekst. Voor alle niveaus van woordenschat neemt het aantal geleerde woorden nog toe. Dat aantal is na 30 teksten overigens nog zeer laag: gemiddeld nog geen vijf woorden voor de groep met de laagste woordenschat (2750 woorden), en gemiddeld twee woorden voor de groep met een woordenschat van woorden. Deze resultaten geven voldoende aanleiding om langer door te gaan met het verzamelen van deze gegevens, ook omdat echte lezers mogelijk elke dag wel dertig nieuwsberichten lezen. Pas dan kunnen we beter zicht krijgen op de toename van de woordenschat door vrij lezen met authentiek materiaal. Verder zullen we in toekomstig onderzoek met echte lezers vragen kunnen beantwoorden over de ontwikkeling van het task result en information request model. Hiervoor worden gegevens van de eerder genoemde VMBO-leerlingen gebruikt, aangevuld met gegevens afkomstig uit een grootschalige implementatie van de software binnen de muren van de Openbare Bibliotheek Amsterdam. Bibliografie Brusilovsky, P. (1996). Methods and techniques of adaptive hypermedia. User Modeling and User Adapted Interaction, 6, 2-3, Brusilovsky, P., & Peylo, C. (2003). Adaptive and intelligent Web-based educational systems. International Journal of Artificial Intelligence in Education, 13 (2-4), Brusilovsky, P., & Rizzo, R. (2003). Using maps and landmarks for navigation between closed and open corpus hyperspace in Web-based education. The New Review of Hypermedia and Multimedia, 9, Burnage, G. (1990). CELEX - A guide for users. Nijmegen: Centre for Lexical Information, University of Nijmegen. Chun, D.M., & Plass, J.L. (1996). Effects of multimedia annotations on vocabulary acquisition. The Modern Language Journal, 80, Cobb, T. (2007). Computing the vocabulary demands of L2 reading. Language Learning and Technology, 11, 3, Conejo, R., Guzman, E., Millan, E., Trella, M., Perez-De-La-Cruz, J., & Rios, A. (2004). SIETTE: A Web-Based Tool for Adaptive Testing. International Journal of Artificial Intelligence in Education, 14, Conlan, O., O'Keeffe, I., & Tallon, S. (2006). Combining Adaptive Hypermedia Techniques and Ontology Reasoning to Produce Dynamic Personalised News Services. Proceedings of the 4 th international conference on Adaptive Hypermedia and Adaptive Web-based Systems, AH2006, DeBra, P., Aerts, A., Berden, B., De Lange, B., Rousseau, B., Santic, T., Smits, D., & Stash, N. (2003). AHA! The Adaptive Hypermedia Architecture. In Proceedings of the fourteenth ACM conference on Hypertext and Hypermedia (pp ). Nottingham, UK.

12 12 Van der Werf & Vermeer Ellis, N.C. (1994). Vocabulary acquisition: The implicit ins and outs of explicit cognitive mediation. In: N.C. Ellis (ed.), Implicit and explicit learning of languages (pp ). London: Academic Press. Hazenberg, S. (1994). Een keur van woorden. Proefschrift, Vrije Universiteit, Amsterdam. Heilman, M., Collins-Thompson, K., Callan, J., & Eskenazi, M. (2006). Classroom success of an Intelligent Tutoring System for lexical practice and reading comprehension. Proceedings of the Ninth International Conference on Spoken Language Processing. Hill, M., & Laufer, B. (2003). Type of task, time-on-task and electronic dictionaries in incidental vocabulary acquisition. International Review of Applied Linguistics in Language Teaching, Hootsen, G., Werf, R. van der, & Vermeer, A. (2007). E-learning op maat: automatische geïndividualiseerde materiaalselectie in het tweede-taalonderwijs. Toegepaste Taalwetenschap in Artikelen, 78, Huang, H-T., & Liou, H-C. (2007). Vocabulary learning in an automated graded reading program. Language Learning & Technology, 11, 3, Hulstijn, J.H. (1992). Retention of inferred and given word meanings: Experiments in incidental vocabulary learning. In: P.J.L. Arnaud & H. Béjoint (eds.), Vocabulary and applied linguistics (pp ). Houndmills (etc.): Macmillan Academic and Professional Ltd.. Hulstijn, J., Hollander, M., & Greidanus, T. (1996). Incidental vocabulary learning by advanced foreign language students: the influence of marginal glosses, dictionary use, and reoccurrence of unknown words. The Modern Language Journal, 80, Jones, L. (2004). Testing L2 vocabulary recognition and recall using pictorial and written test items. Language Learning & Technology, 8, Knight, S. (1994). Dictionary use while reading: the effects on comprehension and vocabulary acquisition for students of different verbal abilities. The Modern Language Journal, 78, Kobsa, A., & Schreck, J. (2003). Privacy Through Pseudonymity in User-Adaptive Systems, ACM Transactions on Internet Technology, Vol. 3, No. 2, May 2003 Laufer, B., & Hill, M. (2000). What lexical information do L2 learners select in a call dictionary and how does it affect word retention? Language Learning & Technology, 3, McQuillan, J., & Krashen, S.D. (2007). Commentary: Can Free Reading Take you All the Way? A response to Cobb (2007). Language Learning & Technology, 12, Milliano, I. de, Vermeer, A., Hootsen, G., & Werf, R. van der, (2008). Affix-informatie, woordenboekgebruik en transfer bij tweede-taalverwervers in een adaptieve electronische leeromgeving. Pedagogische Studiën, 85, Nation, P. (2001). Learning vocabulary in another language. Cambridge: Cambridge University Press. Nation, P. (2006). How large a vocabulary is needed for reading and listening? Canadian Modern Language Review, 63, 1, Peters, E. (2007). Manipulating L2 learners online dictionary use and its effect on L2 word retention. Language Learning & Technology, 11, Ridder, I. de, (2002). Visible or invisible links: Does the highlighting of hyperlinks affect incidental vocabulary learning, text comprehension, and the reading process? Language Learning & Technology, 6, Robinson, R. D. (1973). The Cloze Procedure: a New Tool for Adult Education. Adult Education Quarterly, 23, 2, Rott, S. (1999). The effect of exposure frequency on intermediate language learners' incidental vocabulary acquisition and retention through reading. Studies in Second Language Acquisition, 21, Watanabe, Y. (1997). Input, intake and retention - effects of increased processing on incidental learning of foreign language vocabulary. Studies in Second Language Acquisition, 19, Werf, R. van der, Hootsen, G., & Vermeer, A. (to appear 2008). Automated user-centred task selection and input modification in language learning. ITL Review of Applied Linguistics. Wesche, M.B., & Paribakht, T.S. (2000). Reading-based exercises in second language vocabulary learning: An introspective study. The Modern Language Journal, 84,

13 Online kranten en het genereren van adaptief lesmateriaal 13 Abstract Online newspapers, a user model of the L2-learner and generating adaptive e- learning materials Rintse van der Werf & Anne Vermeer This article describes whether a user model with an automated adaptive selection of online generated and enriched reading texts from newspapers ensures that readers of different vocabulary levels receive linguistic input that is best suited to their abilities and preferences. In a simulation study, 30 readers with a vocabulary size varying from 500 to 15,000 lemmas received for ten days three texts aimed at 88% text coverage (relative proportion of lemmas known to the reader), to make sure that they understood the texts and could learn new words from them. All texts and words encountered were logged (usage data) to build up a dynamic user model. The study revealed that except for the two lower vocabulary levels (a knowledge of 500 and 1000 lemmas) all reading texts had sufficient text coverage. After texts, the number of words encountered for the first time in each text was about 4 to 6% (dependent on low or high vocabulary level), and not yet stable. The number of words learned after 30 texts - two to five words - was quite low. More research with far more texts is needed to find a stable pattern in the number of words learned while reading online newspapers. Auteursgegevens: Anne Vermeer Communnicatie- en Informatiewetenschappen Faculteit Geesteswetenschappen Universiteit van Tilburg Postbus LE Tilburg anne.vermeer@uvt.nl Rintse van der Werf Communnicatie- en Informatiewetenschappen Faculteit Geesteswetenschappen Universiteit van Tilburg Postbus LE Tilburg r.vanderwerf@uvt.nl