Alle goede dingen bestaan in drieën...

Transcriptie

1 Alle goede dingen bestaan in drieën... Een trigram taalmodel voor het bepalen van de tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs. Masterscriptie Informatiekunde RijksUniversiteit Groningen F.M. Steensma-Eisma Begeleider: Dr. G.J.M. van Noord Tweede lezer: Mw. Dr. E.H. Klein-van der Laaken september 2007

2 I Voorwoord Langs deze weg wil ik iedereen die zich aangesproken voelt bedanken voor de bijdrage die zij geleverd hebben om mijn scriptie te laten slagen. Al hun steun, begrip, waardering, hulp, suggesties, tips, aanbevelingen en geduld waren van onschatbare waarde. Een aantal mensen wil ik echter extra in het zonnetje zetten door ze persoonlijk te bedanken. Mijn man en kinderen (Okke, Jorn en Jelle) wil ik bedanken voor hun geduld en begrip. Zij zijn een belangrijke motor geweest achter het schrijven van deze scriptie. Wanneer mijn motivatie tot een dieptepunt gezakt was wisten zij me weer op te beuren en mij te motiveren om door te gaan. Zij lieten mij zien waar ik alles voor deed. Mijn begeleider Gertjan van Noord wil ik bedanken voor zijn geduld, hulp, suggesties, tips en aanbevelingen. Zelfs in voor hem moeilijke tijden stond hij achter mij. Hij wist me te motiveren, hij droeg nieuwe ideeën aan en was een echte stok achter de deur met zijn wekelijkse afspraken. Wilbert Heeringa wil ik graag bedanken voor zijn hulp op het gebied van de statistiek. Dankzij hem is mijn kennis van de statistiek, en met name mijn kennis over correlatie, weer enigszins opgevijzeld. Mijn ex-collegastudent Junte Zhang wil ik bedanken voor de handige tips op gebied van Perl. Voor het proeflezen van mijn scriptie en de vele aanbevelingen, tips en feedback die hij mij gegeven heeft. Een aantal medewerkers van het Etoc, waaronder Hilde Hacquebord en Sible Andringa, wil ik bij deze bedanken. Het onderwerp van deze afstudeerscriptie is van hun afkomstig. Maar ook voor het aanleveren van literatuur, tekstmateriaal en vergelijkingsmateriaal wil ik ze hartelijk bedanken. Mijn studieadviseur, docent en vertrouwenspersoon Henny Klein wil ik ook hartelijk bedanken. Ten eerste voor het verwijzen naar de mogelijkheid tot deze afstudeerscriptie, zij heeft mij in contact gebracht met Hilde Hacquebord. Ten tweede voor het fungeren als tweede lezer van de scriptie. Maar niet alleen tijdens de afstudeerperiode was zij een belangrijk persoon. Ook tijdens de rest van mijn studie is ze altijd een rots in de branding geweest. In moeilijke tijden wist zij me altijd weer te motiveren om door te gaan. Waar ik tijdens mijn studie menig keer aan mijzelf en mijn eigen kunnen getwijfeld heb is zij altijd achter mij blijven staan en wist ze altijd te benadrukken dat ik het toch echt wel in mij had. F. M. Steensma-Eisma Hurdegaryp, januari 2008

3 II Samenvatting In dit onderzoek wordt de mogelijkheid onderzocht om schoolboekteksten van het voortgezet onderwijs te classificeren naar tekstmoeilijkheid door middel van een trigrammodel. Dit onderzoek is gedaan in opdracht van het Etoc. Deze zijn voor hun Dia Taal taaltoetspakket op zoek naar nieuwe methodes voor het bepalen van de tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs. In een trigrammodel worden woordgroepen van drie woorden geteld en opgeslagen als kennis van de wereld. Deze opgeslagen kennis is het model van een taal. Met dit taalmodel kan vervolgens gekeken worden hoe goed andere teksten aan het model voldoen. Door het berekenen van een totaalscore voor een aantal schoolboekteksten wordt gekeken hoe goed deze teksten aan het trigrammodel voldoen. Vervolgens worden deze totaalscores van elke schoolboektekst vergeleken met de huidige methodes voor het bepalen van tekstmoeilijkheid. In dit onderzoek is de gemiddelde logscore als totaalscore gebruikt voor het vergelijken van de tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs. De oude linguïstische analyse, bestaande uit het tellen van het gemiddelde aantal woorden, de gemiddelde zinslengte en het berekenen van de dekkingsdraad basisvocabulair, wordt vergeleken met de gemiddelde logscore voor een twintigtal schoolboekteksten. Na onderzoek is gebleken dat het trigrammodel in theorie een goede nieuwe maat zou kunnen zijn voor het classificeren van schoolboekteksten op hun tekstmoeilijkheid. In de praktijk was het echter niet goed mogelijk om de schoolboekteksten naar tekstmoeilijkheid in te delen op basis van de gemiddelde logscore. Er is dus meer onderzoek nodig om te kunnen bepalen of het trigrammodel ook in de praktijk als methode gebruikt kan worden voor het bepalen van de tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs. Hierbij zouden een speciaal trainingscorpus bestaande uit schoolboekteksten, een andere wijze van smoothing en een groter testcorpus meer inzicht moeten geven in de verdere toepassing van het trigrammodel als nieuwe methode voor het bepalen van de tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs.

4 III Inhoudsopgave Voorwoord... I Samenvatting... II Inhoudsopgave... III 1 Inleiding Waarom deze scriptie? Huidige methodes voor het bepalen van tekstmoeilijkheid Verband tussen Tekstniveau en Tekstmoeilijkheid Indeling in hoofdstukken Het Etoc en Dia Taal Het Etoc Dia Taal Dia Tekst lvs Dia Woord Dia Foon Dia Plus Dia Scan Het trigrammodel Taalmodellering Het n-grammodel Het trigrammodel Het trainingscorpus Score van het trigrammodel Smoothing Implementatie van het trigrammodel Perl Het Eindhovencorpus Het Twente Nieuws Corpus Gemiddelde log Smoothing De schoolboekteksten van het Etoc Opbouw van het trigrammodel Resultaten Scores van het Eindhovencorpus Scores van het Twente Nieuws Corpus Vergelijking scores Eindhovencorpus en Twente Nieuws Corpus Verband tussen Tekstniveau en Gemiddelde logscore Rangordening van de schoolboekteksten Conclusie Verder onderzoek Bibliografie Bijlagen...38 Bijlage A1: Programmacode trigrammodel Bijlage A2: Programmacode berekenen gemiddelde log van tekst... 40

5 1 1 Inleiding In dit eerste hoofdstuk zal ik mijn keuze voor het onderwerp van deze scriptie toelichten. Ook zullen de vragen aan bod komen welke ik hoop te beantwoorden. Verder zal ik ingaan op de huidige methodes die door het Etoc gebruikt worden om de tekstmoeilijkheid te bepalen en zal ik het huidige verband tussen het Tekstniveau en de gemiddelde Tekstmoeilijkheid uitleggen. Als laatste volgt een overzicht van de indeling in hoofdstukken en de inhoud ervan. 1.1 Waarom deze scriptie? Dat ik er als een berg tegenop zag om aan het schrijven van een scriptie te beginnen stond als een paal boven water. Mijn brede interesse maakte het voor mij moeilijk om voor een bepaalde richting te kiezen. Het afbakenen van een onderwerp binnen deze richting zou al snel uitdraaien op een rampscenario. Een rampscenario waarin elk onderwerp interessant genoeg leek om er een scriptie over te schrijven, maar waarin een definitieve keuze uitbleef. Vandaar dat ik maar wat blij was met het voorstel dat ik viavia vanuit het Etoc 1 kreeg. Om het taaltoetspakket Dia Taal 2 breder inzetbaar te maken waren zij op zoek naar aanvullende en/of nieuwe methodes om teksten automatisch te classificeren naar moeilijkheidsgraad. Uit eerder onderzoek vanuit het Etoc is gebleken dat de huidige methodes voor het bepalen van de tekstmoeilijkheid moeite hebben met het indelen van teksten aan de boven- en ondergrens van de huidige schaalverdeling. Dia Tekst lvs (leerlingvolgsysteem) kan momenteel door scholen gebruikt worden om leesproblemen bij leerlingen van de eerste drie klassen van het voortgezet onderwijs te signaleren. Het Etoc wil Dia Tekst lvs echter uitbreiden tot een volledig leerlingvolgsysteem dat alle klassen van het voortgezet onderwijs beslaat. Zodat het leesniveau van een leerling tijdens zijn of haar gehele schoolperiode op de voet gevolgd en zonodig bijgestuurd kan worden. De bovengrens van de huidige schaalverdeling moet door de nieuwe methode dus weggenomen worden om Dia Tekst lvs geschikt te maken voor de hogere klassen van het voortgezet onderwijs. Voor Dia Scan geldt dat een soortgelijke uitbreiding noodzakelijk is. Met Dia Scan kunnen proefwerkteksten, lesmaterialen en teksten van leerlingen ingedeeld worden op moeilijkheidsgraad. De moeilijkheidsgraad is momenteel echter, evenals bij Dia Tekst het geval is, beperkt tot de eerste drie klassen van het voortgezet onderwijs. Om Dia Scan ook voor proefwerkteksten en lesmaterialen voor de hogere klassen van het voortgezet onderwijs te gebruiken is een uitbreiding van huidige methodes om de tekstmoeilijkheid te bepalen dus noodzakelijk

6 Het doel van deze scriptie is om uit te zoeken of een trigrammodel een geschikte aanvulling van de huidige methodes zou kunnen zijn voor het bepalen van de tekstmoeilijkheid. Of wellicht dat het trigrammodel een onafhankelijke methode kan zijn. Tevens moet er bekeken worden of het trigrammodel de tekstmoeilijkheid op de hogere niveaus beter kan beschrijven dan de huidige linguïstische analyse. De vragen die ik in deze scriptie hoop te beantwoorden: - Is een trigrammodel een geschikte methode voor het bepalen van de tekstmoeilijkheid van schoolteksten voor het voortgezet onderwijs? - Kan het trigrammodel als op zichzelf staande methode gebruikt worden voor het bepalen van de tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs? - Kan het trigrammodel de tekstmoeilijkheid op de hogere tekstniveaus beter beschrijven dan de huidige linguïstische analyse? 1.2 Huidige methodes voor het bepalen van tekstmoeilijkheid De huidige methode voor het bepalen van de moeilijkheidsgraad van teksten bestaat uit het toepassen van een linguïstische analyse. Deze linguïstische analyse bestaat weer uit drie methodes, namelijk: gemiddelde woordlengte, gemiddelde zinslengte en dekkingsgraad basisvocabulaire. Deze drie methodes bepalen welke moeilijkheidsgraad bij een tekst hoort. Hierbij zijn de gemiddelde woordlengte, gemiddelde zinslengte en dekkingsgraad basisvocabulair als volgt berekend. De gemiddelde woordlengte wordt berekend als: het totaal aantal lettertekens gedeeld door het totaal aantal woorden. De gemiddelde zinslengte is berekend als: het totaal aantal woorden gedeeld door het totaal aantal zinnen. Bij de berekening van de gemiddelde woordlengte en de gemiddelde zinslengte zijn kopteksten niet meegeteld. Voor het berekenen van de zinslengte geldt dat zinnen beginnen met een hoofdletter en eindigen met een punt. De dubbele punt en de puntkomma worden niet als zinseinde beschouwd. De dekkingsgraad basisvocabulair heeft betrekking op de basiswoordenlijst van Klein en Nieuwborg 3. De Basiswoordenlijst is een onafhankelijke woordenlijst waarin de tweeduizend meest elementaire en meest voorkomende woorden van het Nederlands zijn opgenomen. De woorden van de tekst worden vergeleken met deze Basiswoordenlijst van het Nederlands. Hoe meer woorden uit de tekst in de basiswoordenlijst voorkomen des te makkelijker de tekst. Met de gegevens die de linguïstische analyse oplevert kan de tekst worden geclassificeerd op moeilijkheidsgraad. Het Etoc gaat uit van vijf moeilijkheidsniveaus. Deze vijf moeilijkheidsniveaus van 1 tot en met 5 komen overeen met respectievelijk groep 7 en 8 van de basisschool en de 1 e, 2 e en 3 e klas van het voortgezet onderwijs. 2 3 P. de Klein & E. Nieuwborg, Basiswoordenboek Nederlands. Wolters-Noordhoff, Groningen, 1991.

7 3 Tekstniveau Tabel 1: Tekstindeling op basis van de linguïstische analyse. Gemiddelde Woordlengte Gemiddelde Zinslengte Dekkingsgraad Bronniveau 1 < 4,7 < 10 > 88,5 Groep 7 2 4,7-4,8 10,0-11,5 86,0 88,5 Groep 8 3 4,9-5,0 11,6 13,0 83,5 85,9 1 e klas 4 5,1-5,2 13,1 14,5 81,0 83,4 2 e klas 5 > 5,2 > 14,6 < 81,0 3 e klas Bovenstaande tabel (tabel 1) toont de waarden waarbinnen de linguïstische analyse moet vallen om een bepaald Tekstniveau aan de geanalyseerde tekst toe te kennen. De waarden in de tabel zijn echter gemiddelde maten. Lang niet alle teksten die linguïstisch geanalyseerd worden passen precies binnen één van de vijf profielen. 1.3 Verband tussen Tekstniveau en Tekstmoeilijkheid In eerder onderzoek van het Etoc 4 is gekeken of het Tekstniveau (de linguïstische analyse) voorspellend kan zijn voor de gemiddelde Tekstmoeilijkheid van een tekst. Uit dit onderzoek blijkt dat alleen het onderdeel dekkingsgraad basisvocabulair van de linguïstische analyse voorspellend kan zijn voor de score van de leerlingen op de teksten. Maar dan met name voor schoolboekteksten van de lagere Tekstniveaus. Deze gegevens zijn gebaseerd op een nadere analyse van 30 verschillende teksten. Deze teksten zijn geanalyseerd en vervolgens gerangordend op basis van de gemiddelde score. In onderstaande tabel (tabel 2) zijn de resultaten van deze analyse weergegeven. Tabel 2: Correlatiecoëfficienten uitgesplitst per schooltype. Dekkingsgraad Basisvocabulair Gemiddelde Zinslengte Gemiddelde Woordlengte Tekstscore VMBO leerlingen Tekstscore MAVO/HAVO leerlingen Tekstscore HAVO/VWO leerlingen 0,78* 0,71* 0,53* 0,27 0,13 0,17 0,44 0,26 0,19 Voor dit onderzoek heb ik van het Etoc de beschikking gekregen over een twintigtal schoolboekteksten en bijbehorende gegevens. Deze gegevens bestaan onder andere uit het Tekstniveau van de tekst, scores op de linguïstische analyse en de gemiddelde Tekstmoeilijkheid van een tekst. Paragraaf 4.6 gaat verder in op de schoolboekteksten en de bijbehorende gegevens. 4 Hacquebord & Andringa, 2000

8 Bij een eerste analyse van het Tekstniveau en de gemiddelde Tekstmoeilijkheid van deze twintig teksten kwam een soortgelijk verband naar voren als in tabel 2. Tussen het Tekstniveau en de gemiddelde Tekstmoeilijkheid (de score van leerlingen op de toets) lijkt een correlatie te bestaan van 0,628 met een significantie op het niveau van 0,01. Onderstaande tabel (tabel 3) laat deze correlatie tussen het Tekstniveau en de gemiddelde Tekstmoeilijkheid zien met de bijbehorende waarde voor p. Tabel 3: Correlatie tussen Tekstniveau en gemiddelde Tekstmoeilijkheid. Tekstniveau Tekstmoeilijkheid Correlatie 0,628** Significantie 0,003 ** Correlatie is significant op het niveau p<0,01 (2-zijdig) Wanneer de correlatie tussen Tekstniveau en de verschillende onderdelen van de linguïstische analyse uitgesplitst wordt, wordt een soortgelijk beeld verkregen als in tabel 2. De dekkingsgraad basisvocabulair vertoont de meeste correlatie met het Tekstniveau van 0,503 met een significantie op het niveau van 0,05. De correlatie is hier voor de gemiddelde zinslengte en de gemiddelde woordlengte echter wel hoger dan in eerder onderzoek, maar eveneens lager dan voor de dekkingsgraad van de basiswoordenlijst. Bovendien is deze correlatie niet significant. Bovenstaande correlaties tussen Tekstniveau en de verschillende onderdelen van de linguïstische analyse staan in onderstaande tabel (tabel 4). Tabel 4: Correlaties tussen de verschillende onderdelen van de linguïstische analyse. Gemiddelde zinslengte Gemiddelde woordlengte Dekkingsgraad basisvocabulair Tekstniveau Tekstmoeilijkheid Correlatie 0,387 0,046 Significantie 0,092 0,847 Correlatie 0,364-0,110 Significantie 0,115 0,643 Correlatie -0,503* -0,066 Significantie 0,024 0,781 * Correlatie is significant op het niveau p<0,05 (2-zijdig) Tevens zijn in deze tabel (tabel 4) de correlaties tussen de gemiddelde Tekstmoeilijkheid en dezelfde onderdelen van de linguïstische analyse weergegeven. Voor de correlatie tussen de gemiddelde Tekstmoeilijkheid en de verschillende onderdelen van de linguïstische analyse geldt een ander verhaal dan bij het Tekstniveau. Hier is geen enkele significante correlatie te ontdekken tussen één van de verschillende onderdelen van de linguïstische analyse en de gemiddelde Tekstmoeilijkheid. 4

9 Om te kunnen concluderen of het trigrammodel de gemiddelde Tekstmoeilijkheid van schoolboekteksten voor het voortgezet onderwijs beter kan beschrijven dan de huidige linguïstische analyse zal het trigrammodel beter moeten scoren op het gebied van de gemiddelde Tekstmoeilijkheid dan de linguïstische analyse. Gezien de huidige lage score moet het mogelijk zijn om een eenduidiger correlatie te bereiken tussen de score van het trigrammodel en de gemiddelde Tekstmoeilijkheid. De praktijk moet uitwijzen of dit ook daadwerkelijk het geval zal zijn. 1.4 Indeling in hoofdstukken In dit eerste hoofdstuk motiveerde ik mijn keuze voor het onderwerp van deze scriptie. Uit eerder onderzoek van het Etoc is gebleken dat de huidige linguïstische analyse de moeilijkheidsgraad van moeilijkere teksten niet goed kan bepalen. Voor het uitbreiden van Dia Taal is het noodzakelijk een nieuwe methode te vinden die deze hogere niveaus wel kan beschrijven. Om een idee te krijgen wat het Etoc doet en wat Dia Taal precies inhoud zal ik hierover in hoofdstuk 2 achtergrondinformatie geven. Alle onderdelen van Dia Taal zullen één voor één aan de orde komen. Met deze informatie wil ik aangeven in welke omgeving de nieuw methode voor het bepalen van de moeilijkheidsgraad van schoolboekteksten voor het voortgezet onderwijs zijn diensten zal moeten bewijzen. In hoofdstuk 3 zal ik dieper ingaan op taalmodellering. Taalmodellering in het algemeen zal als eerste aan de orde komen. Daarnaast zullen het n- grammodel en het trigrammodel uitvoeriger behandeld worden als specifieke voorbeelden van taalmodellering. Verder zal het belang van een goed trainingscorpus worden uitgelegd. Vervolgens zal ik meer zeggen over de nieuwe maat voor het bepalen van de tekstmoeilijkheid van schoolboekteksten, de gemiddelde logscore. Als laatste komt de werking en het belang van smoothing in dit hoofdstuk aan de orde. Voor het echte werk wil ik in hoofdstuk 4 de opbouw van het trigrammodel bespreken dat de moeilijkheidsgraad van schoolboekteksten moet bepalen. In dit hoofdstuk zal ik eerst mijn keuze voor de programmeertaal Perl kort toelichten. Vervolgens zal ik mijn keuze voor de gebruikte trainingscorpora, Het Eindhovencorpus en het Twente Nieuws Corpus, beargumenteren. Daarna zal ik nog wat dieper ingaan op het berekenen van de score van het trigrammodel door middel van de gemiddelde log. Tevens worden de schoolboekteksten van het Etoc besproken. Deze schoolboekteksten vormen de baseline waarmee de score van het trigrammodel vergeleken dient te worden. Als laatste komen alle onderdelen samen en zal de opbouw van het trigrammodel in zijn geheel besproken worden. Hoofdstuk 5 bespreekt de resultaten van het onderzoek. De afzonderlijke scores welke het trigrammodel op basis van het Eindhovencorpus en de verschillende trigrammodellen op basis van het Twente Nieuwscorpus opgeleverd hebben worden besproken. Daarna worden de scores van de individuele corpora naast elkaar gelegd en vergeleken. Ter afsluiting volgen de conclusie en suggesties voor verder onderzoek waarin mogelijke verbeteringen van het trigrammodel aan de orde komen. 5

10 6 2 Het Etoc en Dia Taal Dit hoofdstuk geeft achtergrondinformatie over het Etoc en taaltoetspakket Dia Taal. De werkzaamheden van het Etoc zullen aan de orde komen. Ook zal uiteengezet worden wat Dia Taal inhoudt en zullen de verschillende onderdelen van Dia Taal aan de orde komen. Als laatste wordt één voor één de inhoud van de onderdelen Dia Tekst, Dia Woord, Dia Foon, Dia Plus en Dia Scan beschreven Het Etoc Het Expertisecentrum voor Taal Onderwijs en Communicatie (Etoc) is onderdeel van de Rijksuniversiteit Groningen. Het Etoc vormt een brug tussen wetenschappelijk onderzoek en de praktijk van het onderwijs op alle niveaus. Naast het ontwikkelen van toetsen, methoden en leerlijnen adviseert en begeleidt het Etoc docenten, taalcoördinatoren en onderwijsbegeleiders bij het ontwikkelen van een taalaanpak in de onderwijsinstellingen en bij het onderwijs van het Nederlands als eerste en tweede taal. 2.2 Dia Taal Dia Taal is een, door het Etoc ontwikkeld, internet taaltoetspakket voor de eerste drie klassen van het voortgezet onderwijs. Dia Taal bestaat uit een drietal toetsen waarmee een totaalbeeld gegeven wordt van de taalvaardigheid van leerlingen. De drie toetsen Dia Tekst, Dia Woord en Dia Foon brengen respectievelijk de leesvaardigheid, de woordenschatkennis en de luistervaardigheid van leerlingen in kaart. De leestoets is ook beschikbaar als leerlingvolgsysteem waarmee de voortgang van de leerlingen voor meerdere leerjaren gevolgd kan worden. Naast de drie toetsen bevat Dia Taal de programma's Dia Plus en Dia Scan. Deze twee programma's bieden extra ondersteuning bij de vormgeving van het taalbeleid en het traject na de toetsafname binnen de school. De toetsen van Dia Taal zijn adaptief. Dit betekent dat de toets zich aanpast aan het niveau van de leerling. Aan het begin van de toets voert de docent voor de leerling het meest geschikte startniveau in. De toets begint met woorden of teksten van de aangegeven moeilijkheidsgraad. Wanneer de prestaties van de leerling hier echter aanleiding toe geven zal de toets, afhankelijk van de situatie, moeilijker of makkelijker materiaal aan de leerling aanbieden. Op deze manier worden de leerlingen op hun eigen niveau getoetst en krijgt de docent een goed beeld van de taalvaardigheid van de leerlingen. De drie toetsen Dia Tekst, Dia Woord en Dia Foon kunnen zowel los van elkaar als in combinatie afgenomen worden. Door de resultaten van de toetsen Dia Tekst en Dia Woord te vergelijken kan achterhaald worden of een leerling last heeft van een taalprobleem, een leesprobleem of beide. Wanneer een leerling slecht scoort op Dia Tekst en Dia Woord, maar op Dia Foon wel goed scoort, kan dit wijzen in de richting van dyslexie. Hoewel Dia Taal niet bedoeld is als screening op dyslexie, kunnen de uitslagen van de toetsen wel een indicatie geven. 5 De inhoud van dit hoofdstuk is gebaseerd op de online brochure van Dia Taal. Deze is te vinden op de volgende website:

11 2.3 Dia Tekst lvs Dia Tekst lvs is een leerlingvolgsysteem (lvs) waarmee leesproblemen worden gesignaleerd. Het biedt aanknopingspunten voor gerichte hulp aan zwakkere lezers op alle onderwijsniveaus. De toets is geschikt voor leerlingen van de eerste tot en met het derde leerjaar van het voortgezet onderwijs. De toets kan worden ingezet als een screeningsonderzoek in het eerste leerjaar om lees- en taalzwakke leerlingen in een vroeg stadium te signaleren. Daarnaast biedt Dia Tekst lvs inzicht in de leesvaardigheid van individuele leerlingen, op basis waarvan gerichte ondersteuning kan worden aangeboden. Bovendien kan de toets ingezet worden als leerlingvolgsysteem, waardoor de voortgang van de leerlingen gedurende hun schoolloopbaan gevolgd kan worden. De toets meet tekstbegrip aan de hand van teksten waarover meerkeuzevragen worden gesteld. De teksten van de toets zijn afkomstig uit schoolboeken voor alle vakken op verschillende onderwijsniveaus. Bij elke tekst horen ongeveer 12 vragen die eenvoudig geformuleerd zijn. De vragen betreffen verschillende aspecten van tekstbegrip, woordbegrip, zinsbegrip, begrip van tekstverbanden, hoofzaken en bijzaken. De toetsuitslag geeft het niveau aan van het schoolse tekstbegrip van een leerling in vergelijking met het landelijke gemiddelde en in vergelijking met de prestaties van zijn of haar onderwijstype. Aan de hand van de score op de teksten bepaalt het programma de leesvaardigheid van de leerlingen op een aantal punten. Tekstvak 1: Punten waarop de leesvaardigheid van de leerling beoordeeld wordt. Op basis van de prestaties van de leerlingen bepaalt de toets het begrijpend leesniveau van de leerlingen (BLN). Het begrijpend leesniveau is de maat die het algehele tekstniveau van een leerling uitdrukt in relatie tot de landelijke norm. Van een leerling op VMBO niveau wordt verwacht dat deze aan het begin van leerjaar 1 een BLN van 51 behaalt. Van dezelfde leerling in een HAVO/VWO klas wordt verwacht dat deze een BLN-score behaalt van 71. Per leerjaar en per onderwijsniveau laat onderstaande tabel (tabel 5) zien welke BLN-score leerlingen zouden moeten halen. Tabel 5: BLN als minimumnorm voor de verschillende onderwijsniveaus. moeilijkheidsgraad BLN leerjaar het begrijpend leesniveau (BLN) scores op micro-, meso- en macroniveau het lezerstype Groep 7 Groep 8 lwoo 1 vmbo 1 vmbo-tl 1 havo 1 lwoo2 vmbo 2 havo 1 vwo 1 vmbo-tl 2 havo 2 havo 2 vwo 2 lwoo 3 vmbo 3 vmbo-tl 3 havo 3 vwo 3 lwoo 4 vmbo 4 vmbo-tl 4 havo 4 vwo 4 7

12 Dia Tekst onderscheidt drie verschillende niveaus van tekstbegrip die in verschillende mate door leerlingen worden beheerst en toegepast tijdens het lezen. Na het maken van de toets kunnen de leerlingen worden ingedeeld in verschillende lezerstypen op basis van de deelscores op de drie begripsniveaus. De drie niveaus van tekstbegrip zijn microniveau, mesoniveau en macroniveau. Onder begrip op microniveau wordt begrip op woord- en zinsniveau verstaan. Hiermee wordt getoetst in hoevere leerlingen woorden begrijpen en of ze in staat zijn zinnen met complexere grammaticale structuren te begrijpen. Begrip op mesoniveau laat zien of de leerling informatie uit verschillende zinnen en tekstgedeelten, binnen de alinea, adequaat kan combineren. Hierbij moet de lezer afleidingen kunnen maken en tekstverbanden kunnen begrijpen. Als laatste wordt onder begrip op macroniveau het begrip van de tekst in zijn geheel verstaan. De leerling moet de hoofdgedachte, de globale opbouw, de functie en de strekking van de tekst begrijpen. Op basis van het onderscheid tussen micro-, meso-, en macrotekstbegrip stelt Dia Tekst individuele leerlingprofielen op. De leerlingen worden op basis hiervan ingedeeld in lezerstypen. Er zijn vier lezerstypen te onderscheiden. De leerlingen worden gekarakteriseerd als goede lezer, compenserende lezer, schoolse lezer of probleemlezer. Onderstaande afbeelding (afbeelding 1) geeft de indeling in lezerstypen schematisch weer. Afbeelding 1: Schematische weergave van de indeling in lezerstypen. 8 De goede lezer ervaart geen noemenswaardige problemen tijdens het lezen. De leerling presteert voldoende op alle gebieden en behaalt een redelijke tot goede micro-, meso- en macroscore. De compenserende lezer heeft moeite met begrip op microniveau. Dit kan een geringe woordkennis of problemen met woordherkenning (dyslexie) als achtergrond hebben. De onvoldoende microscore wordt gecompenseerd door een relatief sterk meso- of macrotekstbegrip. De totaalscore is zwak tot matig. Een schoolse lezer heeft daarentegen geen moeite met woord- en zinsverwerking en leest in het algemeen technisch vlot. Een voldoende microscore gaat echter gepaard met een onvoldoende meso-, en/of macrotekstbegrip. Dit duidt op onvoldoende bewust en actief leesgedrag. Ook de totaalscore van deze lezer is zwak tot matig. Als laatste scoort de probleemlezer slecht op alle aspecten van leesvaardigheid. Deze lezer is niet gemotiveerd voor lezen en vermijdt leestaken, waardoor hij steeds verder achterop dreigt te raken.

13 2.4 Dia Woord Dia Woord meet de schoolse woordenschat van leerlingen en signaleert eventuele woordkennis tekorten van leerlingen in de onderbouw van het voortgezet onderwijs. Door de afname van zowel Dia Tekst lvs als Dia Woord wordt inzicht verkregen in de vraag of een leerling met een leesprobleem danwel met een taalprobleem kampt. Of wellicht met beide. In Dia Woord worden 50 woorden aangeboden in korte contextzinnen. De woorden komen uit veelgebruikte basisvormingsmethoden voor de vakken aardrijkskunde, biologie, geschiedenis, economie, techniek, wiskunde en verzorging. De vraagvorm is multiple choice. De leerlingen hoeven de woorden niet actief te kennen, het gaat erom dat ze de betekenis beheersen als ze de woorden tegenkomen in schoolboekteksten. Daarom worden de woorden receptief getoetst en aangeboden in een minimale contextzin. De woorden zijn gekozen op basis van de streefwoordenlijst 6 voor de basisvorming. Deze is in 2003 uitgebreid en aangevuld met woorden uit meer recente basisvormingsmethoden. Op basis van het aantal goed beantwoorde vragen krijgt de leerling een woordkennisniveau toebedeeld dat van hetzelfde principe uitgaat als het BLN. Verder wordt een interpretatie van dit niveau in vaardigheidsgroepen gegeven van "(zeer)zwak" tot "goed". De vaardigheidsgroep drukt het niveau van de leerling uit in relatie tot leerlingen van hetzelfde schooltype. Deze indeling maakt het mogelijk om eenvoudig groepen en klassen met elkaar te vergelijken. Daarnaast is het mogelijk om de score van een klas of een aantal klassen te vergelijken met het landelijk gemiddelde. 2.5 Dia Foon Hoewel er in de praktijk een groot beroep gedaan wordt op de luistervaardigheid van leerlingen, wordt in het screenen van leerlingen deze vaardigheid vaak buiten beschouwing gelaten. Dia Foon stelt docenten in staat om het luistervaardigheidsniveau van leerlingen in kaart te brengen. In combinatie met Dia Tekst en Dia Woord kan uitsluitsel gegeven worden op de vraag of een leerling moeite heeft met het achterhalen van belangrijke informatie uit de schoolboektekst, of dat de lage score op Dia Tekst eerder gezocht moet worden in problemen met technische leervaardigheid. In Dia Foon krijgt de leerling een aantal korte teksten te horen, waarover een aantal vragen gesteld worden. Deze vragen hebben betrekking op het macroniveau en mesoniveau van de tekst. Er zijn geen vragen op microniveau opgenomen om te voorkomen dat in plaats van luistervaardigheid de geheugenvaardigheid getoetst wordt. Om te voorkomen dat de leerlingen zich te veel richten op het formuleren van aantekeningen in plaats van het luisteren, is het niet toegestaan dat de leerling notities maakt tijdens het luisteren. Op basis van het aantal goed beantwoorde vragen krijgt de leerling een begrijpend luisterniveau (BluN) toebedeeld en een interpretatie van dit niveau in vaardigheidsgroepen van "(zeer)zwak" tot "zeer goed". De vaardigheidsgroep drukt het niveau van de leerling uit in relatie tot de leerlingen van hetzelfde schooltype. Deze indeling maakt het eenvoudig om klassen onderling of klassen met het landelijke gemiddelde te vergelijken. 9 6 Hacquebord en Struiving, 1998

14 2.6 Dia Plus Dia Plus geeft achtergrondinformatie en lesmaterialen voor taalondersteuning en remediëring ter ondersteuning van de zwakkere leerling. Dia Plus verschijnt in de vorm van een website die twee keer per jaar vernieuwd wordt. De website bevat actuele werkvormen en materialen, die onmiddellijk in de lessen toegepast kunnen worden. Docenten kunnen tekstmateriaal van de website halen. Dit tekstmateriaal kan rechtstreeks worden toegepast in de taal(ondersteunings)lessen. De teksten zijn geordend naar de verschillende tekstniveaus die binnen Dia Tekst lvs onderscheiden worden. Leerlingen kunnen oefenen met tekstmateriaal op hun eigen leesniveau. Ook worden er oefenvormen aangeboden op de website. Leerlingen kunnen bijvoorbeeld om leren gaan met moeilijke woorden. De oefenvormen kunnen worden toegepast op de bijbehorende teksten. De docent kan de oefeningen echter ook gemakkelijk aanpassen zodat de oefeningen passen bij materiaal wat door de docent zelf verzameld is. Aangezien weblezen een steeds belangrijker vaardigheid is die leerlingen dienen te beheersen bevat de website ook oefeningen op het gebied van weblezen. Naast tekstmateriaal en oefenvormen bevat de website nog een aantal handige rubrieken voor docenten waaronder een Forum om ervaringen uit te wisselen, praktische Tips op gebied van taalondersteuning en een Archief met materiaal uit eerdere edities van de website. 2.7 Dia Scan Dia Scan is een onderdeel van Dia Taal dat in de toekomst verder ontwikkeld moet worden. Het moet in de toekomst veel mogelijkheden binnen de taalondersteuning van leerlingen bieden. Met Dia Scan moeten proefwerken, lesmaterialen en teksten van leerlingen worden beoordeeld op hun moeilijkheidsniveau. Docenten kunnen door middel van Dia Scan inzicht krijgen in de relatieve moeilijkheidsgraad van de gescande teksten. Wanneer de docent eigen teksten of toetsen scant, kan hij met behulp van Dia Scan beoordelen of de betreffende teksten geschikt zijn voor de beoogde leerlingen. Als teksten van leerlingen met behulp van Dia Scan gescand worden, krijgt de docent inzicht in het niveau van schriftelijk taalgebruik van de betreffende leerling. Uiteraard doet de scan geen uitspraak over de inhoudelijke kwaliteit van de tekst. Dia Scan moet dus een hulpmiddel worden om de docent te ondersteunen in zijn keuze voor lesmateriaal en het beoordelen van teksten van leerlingen. 10

15 11 3 Het trigrammodel In dit hoofdstuk wordt uitgelegd hoe het trigrammodel is opgebouwd. Eerst komt taalmodellering in het algemeen aan de orde. Hoe een taalmodel zoals een n-grammodel opgebouwd is en hoe het trigrammodel afgeleid kan worden van het n-grammodel. Verder zal uitleg gegeven worden over het gebruikte trainingscorpus. Daarna komt aan de orde hoe de score voor de moeilijkheidsgraad van een tekst berekend wordt. Tevens wordt besproken op welke wijze er rekening gehouden wordt met trigrammen die niet in het trainingscorpus voorkomen maar wel in het testcorpus. In dit geval vormen de schoolboekteksten het testcorpus. 3.1 Taalmodellering Grafische interfaces die je helemaal naar je eigen wensen kunt instellen en aanpassen. Programma's die spelling en grammatica controleren. Zoekmachines die niet alleen kunnen zoeken op tekst, maar ook op afbeeldingen en bestandstype. Je kunt zelfs aangeven in welke taal de teksten geschreven dienen te zijn. Met al deze handige programma's en tools is het soms moeilijk voor te stellen dat een computer eigenlijk helemaal niets van taal begrijpt. Alles wat de computer 'begrijpt' van taal is op de één of andere manier eerst 'aangeleerd'. Het maken van statistische taalmodellen is een manier om de computer taal te leren begrijpen. Een representatief tekstcorpus voor de taal vormt de basis van een statistisch taalmodel. Door de computer statistische bewerkingen te laten uitvoeren op het tekstcorpus komen regelmatigheden en patronen naar boven. Deze regelmatigheden en patronen vormen de regels van de taal, het taalmodel. Om te kunnen voorspellen welke woorden of woordreeksen er in een taal voor kunnen komen is het noodzakelijk een kans toe te kennen aan de regelmatigheden en patronen. Op basis van de kansen kan berekend worden hoe waarschijnlijk het is dat een bepaald woord of een bepaalde woordreeks tot de taal behoort waar het model een afspiegeling van is. In het meest simpele taalmodel kan elk willekeurig gekozen woord van die taal worden gevolgd door een ander woord van die taal. In dit model heeft elk woord van de taal evenveel kans om het volgende woord in een zin te worden. In de praktijk werkt dit echter niet. De kans dat na het woord "het", het woord "de" volgt is zeer klein. De kans dat na het woord "het", het woord "meisje" volgt is daarentegen veel waarschijnlijker. Context is dus belangrijk om het volgende woord van een woordreeks te bepalen. Het is ondoenlijk om voor elk woord uit een tekstcorpus de gehele voorafgaande context te bepalen. Het is ook weinig zinvol aangezien de kans zeer klein is dat een woord in precies dezelfde zinsconstructie een tweede keer voorkomt. We kunnen de voorafgaande context echter wel benáderen. De waarschijnlijkheid van een woord, gegeven alle voorafgaande woorden, kan benaderd worden door alleen naar het voorafgaande woord of een klein aantal voorafgaande woorden te kijken. Dit is wat een n-grammodel doet.

16 3.2 Het n-grammodel We kunnen de waarschijnlijkheid van een woord, gegeven alle voorafgaande woorden, dus benaderen door alleen naar het voorafgaande woord of een klein aantal voorafgaande woorden te kijken. De aanname dat de waarschijnlijkheid van een woord alleen afhankelijk is van het voorafgaande woord wordt ook wel een Markov-aanname genoemd. In een Markov-model wordt ervan uitgegaan dat je de waarschijnlijkheid van iets kunt bepalen zonder daarvoor al te ver in het verleden te hoeven kijken. Omdat een bigrammodel alleen naar het voorgaande woord kijkt wordt een bigrammodel ook wel een eerste orde Markov-model genoemd. Op dezelfde manier wordt een trigrammodel een tweede orde Markov-model genoemd. In het algemeen wordt de Markov-orde van een n-gram bepaald door n-1. De kans op een woordreeks P(W 1,W 2,...,W n-1,w n ) wordt als volgt berekend voor een n-grammodel. Deze kans wordt geschat door het totale product te berekenen. De kans P op de individuele voorgaande woordgroepen wordt met elkaar vermenigvuldigd, P(W 1 )P(W 2 W 1 )...P(W n W 1,...,W n-1 ). De formule voor een n-grammodel luidt nu dus: Formule 1: De formule voor een n-grammodel. 12 n P(W 1,n )= P(W i W 1,i-1 ) i=1 3.3 Het trigrammodel Door een n-grammodel de waarde 3 mee te geven wordt een trigrammodel verkregen. Er zijn veel voorbeelden van zinsdelen waarbij de afhankelijkheid van de afzonderlijke woorden verder reikt dan slechts de twee voorgaande woorden. Denk hierbij aan vaste uitdrukkingen, spreekwoorden en gezegdes. Een trigrammodel vormt dus een beperkte afspiegeling van een taal. Het kiezen van grotere waarden voor n blijkt echter weinig invloed te hebben op de prestatie van het n-grammodel. Vandaar dat n=3 toch een veelgebruikte waarde voor n is. In een trigrammodel wordt de waarschijnlijkheid van een woord dus bepaald door de twee voorafgaande woorden. De kans P op woord W n gegeven woord W n-2 en woord W n-1, kortweg: P(W n W n-2,w n-1 ). Een berekening voor het schatten van de kans op woord W n wordt gegeven door de formule: Formule 2: Het schatten van de kans op woord W n. P(W n W n-2,w n-1 ) C(W n-2,w n-1,w n ) C(W n-2,w n-1 ) In deze formule is P(W n W n-2,w n-1 ) de relatieve kans op het voorkomen van woord W n gegeven woord W n-2 en woord W n-1. De functie C() in de formule is een telfunctie. Door met de telfunctie de frequentie te bepalen van de woordreeksen (W n-2,w n-1,w n ) en (W n-2,w n-1 ) en deze vervolgens door elkaar te delen wordt de kans P(W n W n-2,w n-1 ) berekend. De deling zorgt voor het normaliseren van de kans. Hierdoor is de kans altijd een getal tussen 0 en 1.

17 Om de kans op het eerste woord van een woordreeks gegeven de twee voorgaande woorden te berekenen is een kleine aanpassing aan het model noodzakelijk. Dit omdat een eerste woord geen voorafgaande context heeft. Voor het schatten van de kans van het eerste woord van een woordreeks worden daarom aan het begin van elke woordreeks twee pseudowoorden toegevoegd. Deze pseudo-woorden worden door het teken <s> aangegeven. 3.4 Het trainingscorpus Het trigrammodel wordt gebaseerd op een tekstcorpus, een verzameling van teksten, welke een afspiegeling vormt van een taal. De waarschijnlijkheden van de trigrammen worden uit het tekstcorpus gehaald. Het is dus erg belangrijk dat het trainingscorpus representatief is. Er kunnen verschillende dingen mis gaan bij het kiezen van een geschikt tekstcorpus. Wanneer het trainingscorpus en het testcorpus identiek zijn wordt een kunstmatig hoge score verkregen. Het tegenovergestelde, een kunstmatig lage score, kan bijvoorbeeld voorkomen wanneer het trainingscorpus teksten bevat met medische onderwerpen en het testcorpus teksten bevat uit de sportbijlage van het lokale dagblad. Daarnaast is het belangrijk hoe het tekstcorpus eruit ziet. Worden leestekens en getallen meegerekend als woorden, of worden ze buiten beschouwing gelaten. Voor grammaticacontrole en spellingscontrole zijn leestekens bijvoorbeeld onmisbaar. Andere belangrijke beslissingen zijn of dezelfde woorden met hoofdletter en kleine letters als één en hetzelfde woord worden gerekend of als twee verschillende. Wederom is het bij spellingscontrole van belang om beide woordvormen apart te beschouwen. Voor veel andere taken worden dit soort woorden vaak als één woord beschouwd. 3.5 Score van het trigrammodel Wanneer je een taalmodel maakt wil je natuurlijk ook graag weten hoe goed het model werkt. Hoe goed het model de taal benaderd en hoe goed verschillende trainingscorpora onderling scoren. Voordat ik verder ga over het berekenen van de score van het taalmodel wil ik eerst wat dieper ingaan op de berekening van de kans op een woord gegeven de voorafgaande woorden. Zoals blijkt uit formule 2 is de kans op een woord gegeven de twee voorafgaande woorden altijd een getal tussen 0 en 1. Voor het berekenen van de waarschijnlijkheid van een zin, alinea of paragraaf moeten deze kansen allemaal met elkaar vermenigvuldigd worden. Naarmate er meer kansen met elkaar vermenigvuldigd worden wordt het getal dat de waarschijnlijkheid aangeeft alsmaar kleiner. In de praktijk levert dit problemen op. Bij lange berekeningen bestaat de kans dat er teveel getallen achter de komma komen te staan. Het geheugen van de computer kan de getallen achter de komma maar beperkt opslaan. Hierdoor kunnen belangrijke gegevens verloren gaan. Voor het berekenen van de waarschijnlijkheid voor een langere context is het daarom gebruikelijker om deze om te rekenen. De kans op de individuele woorden wordt berekend als de log(p(w n) ). Vervolgens worden alle -logs bij elkaar opgeteld. Optellen in een log omgeving staat gelijk aan het vermenigvuldigen in een lineaire omgeving. Om de waarschijnlijkheid van de context te bepalen wordt vervolgens de gemiddelde log berekend. 13

18 3.6 Smoothing Een nadeel van het werken met n-grammodellen en dus het trigrammodel is dat ze op een bepaald tekstcorpus getraind worden. Een tekstcorpus kan nooit alle uitingen van een taal bevatten. Zelfs al zou een poging gewaagd worden tot het maken van een allesomvattend tekstcorpus van een taal, dan nog zouden er woorden ontbreken. Taal is nu eenmaal voortdurend aan verandering onderhevig. Er komen constant nieuwe woorden bij terwijl andere woorden steeds verder in onbruik raken. Omdat een corpus dus slechts een afspiegeling van de taal vormt is het onvermijdelijk dat er woorden in het testcorpus voorkomen, die niet in het trainingscorpus voorkomen, maar die wel tot de taal behoren. Dit fenomeen wordt ook wel aangeduid met de term sparse data. Smoothing is het toekennen van een waarde aan deze trigrammen welke wel in het testcorpus voorkomen maar niet in het trainingscorpus. Smoothing kan op verschillende manieren worden toegepast. Van heel simpel tot heel ingewikkeld. De simpelste manier van smoothing is om bij het tellen van de trigrammen de waarde 1 toe te kennen aan de trigrammen die niet in het trainingscorpus voorkomen. Hierdoor tellen deze trigrammen in de eindberekening toch enigszins mee. Hoewel het niet de meest betrouwbare manier van smoothing is, is het beter dan niets. Wanneer bij het berekenen van de waarschijnlijkheid van een zeer lange woordreeks één onbekende trigram in de context voorkomt, wordt door het vermenigvuldigen van de kansen van de individuele woorden de waarschijnlijkheid gelijk aan nul. Dit zijn ongewenste resultaten die voorkomen moeten worden. 14

19 15 4 Implementatie van het trigrammodel Hoofdstuk 4 gaat over de implementatie van het trigrammodel. Allereerst motiveer ik mijn keuze voor het gebruik van de programmeertaal Perl. Vervolgens zal ik mijn keuze voor het Eindhovencorpus als trainingscorpus beargumenteren. Tevens zal ik het Twente Nieuws corpus als trainingscorpus bespreken. Daarna zal de score van het trigrammodel, de gemiddelde logscore, uitgebreider besproken worden. Verder zal ik in dit hoofdstuk de wijze van smoothing toelichten. Daarnaast zullen de schoolboekteksten van het Etoc besproken worden. Deze teksten vormen de basis voor het vergelijken van de oude en nieuwe methoden voor het bepalen van de tekstmoeilijkheid van schoolboekteksten. Als laatste zal ik alle onderdelen samen voegen, en zal de opbouw van het trigrammodel in zijn geheel aan de orde komen. 4.1 Perl Voor het maken van het trigrammodel heb ik gekozen voor de programmeertaal Perl. Perl is speciaal ontworpen voor het extraheren van informatie uit tekstbestanden en het manipuleren van informatie in tekstbestanden. 7 In de praktijk betekent dit dat het gemakkelijk is om data uit tekstbestanden in te lezen en vervolgens weer weg te schrijven. Ook het tijdelijk opslaan van informatie in hashtabellen is handig bij het werken met tekstbestanden. Met name voor het bepalen van de frequentie van de verschillende trigrammen is de hashtabel een handige functie. Deze eigenschappen maken Perl tot een handige programmeertaal voor het opbouwen van een trigrammodel. 4.2 Het Eindhovencorpus Voor het testen van het trigrammodel heb ik in eerste instantie gekozen voor het Eindhovencorpus 8. Het Eindhovencorpus bestaat uit Nederlandstalige geschreven en getranscribeerde gesproken teksten. Het is een vrij hanteerbaar tekstcorpus van verschillende woorden. Het Eindhovencorpus is de eerste verzameling van Nederlandstalige gesproken en geschreven teksten. De teksten dateren uit de periode van 1960 tot Het is aanvankelijk samengesteld om frequentielijsten van het Nederlands te kunnen samenstellen. Door de jaren heen is het corpus behulpzaam geweest bij vele verschillende onderzoeken. Ook tegenwoordig is het Eindhovencorpus nog een handig hulpmiddel bij verschillende vormen van taalkundig onderzoek. Het corpus is volledig handmatig geannoteerd, wat betekent dat het vrijwel foutloos gebeurd is. Door de handmatige, vrijwel foutloze, annotatie vormt het Eindhovencorpus als testcorpus of trainingscorpus een betrouwbare baseline bij het ontwikkelen van bijvoorbeeld Part-Of-Speech taggers. Het Eindhovencorpus is opgebouwd uit de componenten gesproken taal en geschreven taal. De component geschreven taal neemt het grootste gedeelte van het Eindhovencorpus voor zijn rekening met een totaal van verschillende woorden. De getranscribeerde gesproken component beslaat met woorden 1 / 6 deel van het totale Eindhovencorpus. 7 Michael Hammond, Meer informatie over het Eindhovencorpus:

20 Zowel de geschreven als de gesproken component van het Eindhovencorpus zijn opgedeeld in verschillende onderdelen. De geschreven component omvat vijf verschillende onderdelen. De getranscribeerde gesproken component bestaat uit twee afzonderlijke onderdelen. De geschreven component bestaat uit de onderdelen CDBL, COBL, CGBL, CRNO en CPWE. Deze onderdelen bevatten respectievelijk teksten uit verschillende dagbladen, teksten afkomstig uit bekende opiniebladen, teksten uit bekende gezinsbladen, teksten uit een aantal romans en novellen welke verschenen zijn in 1970 en teksten uit populair wetenschappelijke bronnen. De getranscribeerde gesproken component bestaat uit de onderdelen CGT1 en CGT2. Onderdeel CGT1 bevat getranscribeerde teksten van personen die Algemeen Beschaafd Nederlands (ABN) spreken en onderdeel CGT2 bevat teksten van mensen met weinig schoolopleiding. Onderstaande tabel (tabel 6) geeft een overzicht van de inhoud van het Eindhovencorpus. Voor het trainingscorpus maak ik alleen gebruik van het geschreven deel van het Eindhovencorpus. Aangezien het trigrammodel schoolboekteksten, dus geschreven teksten, moet gaan beoordelen en indelen op hun moeilijkheidsgraad is het gesproken deel van het Eindhovencorpus verder niet van belang. Tabel 6: Specificaties van het Eindhovencorpus. Naam Omschrijving Inhoud Omvang Periode CDBL Dagbladen Nieuwsblad van het Noorden, NRC, Het Vrije Volk, De Telegraaf, Trouw COBL Opiniebladen Elseviers Magazine, HP Magazine, Vrij Nederland, Accent, De Groene, Hervormd Nederland, De Nieuwe Linie CGBL Gezinsbladen Avenue, Margriet, Televizier, Elegance, Libelle, Nieuwe Revue, Panorama, Prinses, Sextant CRNO Romans/Novellen In 1970 verschenen werken CPWE Beeldende kunsten, Psychiatrie, Filosofie, Onderwijs en opvoeding, Volkenkunde, Verkeer en Techniek, Geschiedenis Populair Natuurwetenschappen, Plant- en Wetenschappelijk Dierkunde, Geneeskunde, Land- en "Academici of daarmee gelijk te stellen CGT1 Gesproken Taal 1 personen die geacht worden ABN te spreken." CGT2 Gesproken Taal 2 "Mensen met weinig schoolopleiding uit een aantal plaatsen in Noord- en Zuid- Holland." Het Eindhovencorpus waarover ik de beschikking heb bestaat uit vijf afzonderlijke bestanden welke de CDBL, COBL, CGBL, CRNO en CPWE onderdelen van het geschreven deel van het Eindhovencorpus bevatten. Deze bestanden zijn dusdanig bewerkt, door de vakgroep Informatiekunde, dat ze voor het trigrammodel wat ik wil maken makkelijk te gebruiken zijn. In het bewerkte Eindhovencorpus staan namelijk alle zinnen op één regel. Daarnaast is het corpus volledig getokeniseerd. 16

21 Omdat ik in mijn trigrammodel rekening wil houden met de zinsgrenzen is het handig dat alle zinnen op één regel staan in het Eindhovencorpus. De zinsgrenzen wil ik bij het maken van het model niet meenemen. Doordat elke zin al op één regel geplaatst is hoeft bij het maken van het trigrammodel verder geen rekening gehouden te worden met de zinsgrenzen. Het begin en einde van elke zin is al bepaald. Het tekstcorpus kan simpelweg per regel ingelezen en bewerkt worden. Zonder dat er ingewikkelde aanpassingen aan het corpus gedaan moeten worden kunnen de trigrammen en bijbehorende bigrammen per zin gemaakt en geteld worden. Ten tweede zijn de bestanden van het Eindhovencorpus dus getokeniseerd. Dit betekent dat alle woorden van elkaar gescheiden zijn door spaties. Dit lijkt vanzelfsprekend aangezien woorden in zinsverband doorgaans al van elkaar gescheiden zijn door middel van spaties. Leestekens (zoals punten, komma's, aanhalingstekens en andere leestekens) zitten echter als het ware aan het voorgaande woord vast. Omdat ik van mening ben dat leestekens een stempel kunnen drukken op de moeilijkheid van een tekst wil ik deze ook meenemen in de beoordeling. Vandaar dat het Eindhovencorpus ook hier uitkomst biedt. In het corpus zijn naast alle woorden ook alle leestekens van de omringende woorden gescheiden door spaties. Als laatste is het Eindhovencorpus een mooi hanteerbaar tekstcorpus. Met de woorden afkomstig uit de geschreven component van het Eindhovencorpus is het niet één van de grootste bestaande tekstcorpora. Het is echter wel een zorgvuldig samengesteld en gevarieerd tekstcorpus. Om te zien hoe het trigrammodel in grote lijnen presteert is het Eindhovencorpus prima geschikt. Juist omdat het een niet al te groot corpus is gaat het opbouwen van het trigrammodel snel. Dit maakt het gemakkelijk om eventuele aanpassingen te controleren. Onderstaande tekstfragment (fragment 1) laat een gedeelte uit het CGBL onderdeel van het Eindhovencorpus zien. Hierin is goed te zien hoe alle zinnen op één regel staan. Ook is te zien hoe alle tokens van elkaar gescheiden zijn door middel van spaties. Fragment 1: Een fragment uit het CGBL onderdeel van het Eindhovencorpus. Rein van den Broek geeft een rondje. Hij is vandaag exact dertien jaar bij de groep. Hij legt uit : " In maart 1958 startte ik in Haarlem de groep onder de naam The Jokers. Het was een heel andere formatie, die zich toelegde op rock met jazzelementen. Sindsdien onderging de groep heel wat naamsveranderingen en wisselden ook de muzikanten. Verhuizen? Welnee, meneer, dat is toch niets voor oude mensen? We hebben hier altijd gewoond. Mijn schoondochters, die willen wel, maar kunnen niet. Er is een bouwstop afgekondigd voor Zwanenburg. Ja, in andere delen van het dorp kan je nog wel vrij rustig wonen. Helemaal aan de westkant bijvoorbeeld, daar valt het wel mee. " En haar man : " Mijn vrouw slaapt nog wel, maar ik lig iedere nacht wakker. Als ik niet wakker lig, schrik ik wel wakker. Het is volgens ons ook een kwestie van angst. We zijn doodsbang dat er eens eentje neerstort. " Een andere patient is de heer van Stein uit de Thorbeckestraat. Een maand of drie geleden kreeg hij last van zijn maag. 17

22 4.3 Het Twente Nieuws Corpus Voor het testen van het trigrammodel is het Eindhovencorpus een mooi begin. Met het Eindhovencorpus werden al enkele veelbelovende resultaten behaald, waarover ik in het volgende hoofdstuk meer zal vertellen. Om de computer een zo realistisch mogelijk beeld van de werkelijkheid te laten vormen is echter een groter tekstcorpus dan het Eindhovencorpus nodig. Met een zo groot mogelijk tekstcorpus is er de minste kans dat er trigrammen in het trainingscorpus ontbreken welke wel in het testcorpus voorkomen. Een zeer omvangrijk tekstcorpus is het Twente Nieuws Corpus. Het Twente Nieuws Corpus 9 is speciaal samengesteld voor het trainen van taalmodellen, waarvoor dus grote hoeveelheden trainingsdata nodig zijn. In totaal bevat het Twente Nieuws Corpus ruim 300 miljoen woorden. Het is dus een zeer omvangrijke verzameling van teksten. Het Twente Nieuws Corpus bestaat uit autocue teksten van het jeugdjournaal en het acht uur journaal, teletekst teksten van nova, twee vandaag en het acht uur journaal, en krantenteksten. Daarnaast bevat het ook online nieuws afkomstig van de websites van het ANP, en de verschillende dagbladen. De krantenteksten zijn ondermeer afkomstig uit het Algemeen Dagblad, Trouw, Het Parool, NRC en De Volkskrant. De teksten uit het Twente Nieuws Corpus zijn normaal gesproken beschikbaar in XML-formaat. Hier op de universiteit is echter een versie van het Twente Nieuws Corpus beschikbaar in tekstformaat. Dit Twente Nieuws corpus is getokeniseerd met behulp van Alpino. Evenals in het Eindhovencorpus zijn in het Twente Nieuws Corpus dus alle zinnen op één regel gezet. Tevens is het Twente Nieuws Corpus op dezelfde wijze als het Eindhovencorpus getokeniseerd. Alle woorden, leestekens en andere gegevens zijn van elkaar gescheiden door middel van spaties. Dit is weer gemakkelijk voor het inlezen van de tekstbestanden die het trainingscorpus gaan vormen. Onderstaande tekstfragment (fragment 2) is afkomstig van het Twente Nieuws Corpus. Fragment 2: Een fragment uit het Twente Nieuws Corpus. AD % Vandaag : Eigen ordedienst op school? AD Elke dag : www. ad. nl Deze peiling geeft alleen de opinie weer van bezoekers van de AD website. AD Een korte samenvatting van het weekendnieuws in Nederland : fraude, fraude en fraude. AD Topbestuurders van Ahold maakten zich schuldig aan het noteren van veel te hoge omzetten. AD Van het concern mogen ze merkwaardig genoeg ( nog ) blijven. AD Huizenhandelaren lijken onder één hoedje te spelen met notarissen bij gedwongen verkopen. AD En als klap op de vuurpijl stortte klokkenluider 2 de natie in bouwfraude 2. AD Wie had het over een beschaafde samenleving in het meest georganiseerde land van Europa? AD Bouwfraude 1 ging over de grond-, weg- en waterbouw. AD Bouwfraude 2 handelt over de ' utiliteitsbouw '

23 Het Twente Nieuws Corpus is al eerder voor andere doeleinden gebruikt. Voor deze doeleinden is er in alle bestanden aan het begin van elke regel informatie over de bron, de jaargang, de datum en regelnummers toegevoegd. Deze zogenaamde keys moeten bij het maken van het trigrammodel verwijderd worden. Nadeel van het Twente Nieuws Corpus is dat het voornamelijk krantentekst bevat. Omdat het trainingscorpus uit krantentekst en het testcorpus uit schoolboekteksten bestaat kan dit problemen opleveren bij het bepalen van de waarschijnlijkheid van de schoolboekteksten. Wanneer teveel trigrammen uit de schoolboekteksten niet in de trainingsdata voorkomen is de waarschijnlijkheid niet betrouwbaar. De praktijk moet in dit geval uitwijzen of het Twente Nieuws Corpus niet te selectief is voor het toepassen ervan op schoolboekteksten. 4.4 Gemiddelde logscore Zoals al kort aangestipt in het vorige hoofdstuk wil je bij het maken van een taalmodel graag weten hoe goed het taalmodel de taal representeert. Het is dus noodzakelijk voor de teksten onderling een gemeenschappelijke waarde te bepalen. We willen graag weten hoe waarschijnlijk het is dat een bepaalde schoolboektekst voorkomt gegeven het trainingscorpus. In dit geval willen we dus graag weten hoe teksten onderling score op waarschijnlijkheid. Om de teksten te kunnen vergelijken op waarschijnlijkheid is voor de gemiddelde logscore gekozen. De gemiddelde logscore geeft hier aan hoe waarschijnlijk het is dat een schoolboektekst voorkomt, gegeven het trainingscorpus. Hoe hoger de waarde van de gemiddelde logscore van een schoolboektekst is, hoe minder waarschijnlijk het is dat de tekst voorkomt gegeven het trainingscorpus. Hierbij wordt ervan uitgegaan dat een tekst moeilijker is, naarmate het minder waarschijnlijk is dat deze tekst voorkomt gegeven het trainingscorpus. Woorden die weinig voorkomen, en dus minder waarschijnlijk zijn, worden over het algemeen als moeilijker ervaren. Dit kunnen bijvoorbeeld bepaalde woorden zijn die met het onderwerp van de tekst te maken hebben. Wanneer zo'n woord dat normaal gesproken weinig voorkomt, echter meerdere keren in een tekst voorkomt, raakt de lezer aan het woord gewend. Bovendien kan de betekenis van het woord uit de tekst afgeleid worden naarmate het woord vaker in de tekst voorkomt. Frequentie van woorden zegt dus veel over de moeilijkheid van woorden. Het trigrammodel houdt hier automatisch rekening mee in de opbouw van de trainingsdata. Een trigram dat vaker voorkomt, krijgt in de trainingsdata automatisch een grotere kans en dus een lagere logwaarde toebedeeld. Een trigram dat minder vaak voorkomt heeft een kleinere kans en krijgt dus een hogere logwaarde mee. Voor het berekenen van de gemiddelde logscore van een schoolboektekst wordt eerst de waarschijnlijkheid van de individuele trigrammen berekend. Dit wordt gedaan door per trigram de kans te berekenen aan de hand van formule 2. Van deze kans wordt vervolgens de log genomen. Al deze waarschijnlijkheden worden daarna bij elkaar opgeteld, en gedeeld door het totale aantal trigrammen in de tekst. Dit levert formule 3 op waarmee de gemiddelde logscore van de tekst berekend kan worden. 19

24 20 Formule 3: Berekenen van de gemiddelde log. n -log gem (P(W 1,n ))= -log(p(w i W 1,i-1 )) i=1 totaal aantal trigrammen De gemiddelde logscore geeft dus de waarschijnlijkheid van de tekst gegeven het trainingscorpus weer. Wanneer dezelfde tekst aan een ander trainingscorpus gekoppeld zou worden geeft het trigrammodel een totaal andere gemiddelde -logscore. De waarschijnlijkheid is dus afhankelijk van het trainingscorpus. 4.5 Smoothing Zoals in het vorige hoofdstuk al eerder aangestipt werd, kan een trainingscorpus onmogelijk alle uitingen van een taal bevatten. Het trigrammodel is dus een afspiegeling van de taal waarin ontbrekende trigrammen aangevuld moeten worden. Voor het toekennen van een waarde aan de ontbrekende data uit het trainingscorpus is het toepassen van smoothing dus noodzakelijk. Wanneer er geen rekening zou worden gehouden met trigrammen die wel in de schoolboektekst voorkomen, maar niet in de trainingsdata levert dit ongewenste resultaten op. Bij het berekenen van de kans op het voorkomen van een langere context, zoals een zin of in dit geval een schoolboektekst, is het spijtig wanneer er in deze context één of meerdere trigrammen niet in het trainingscorpus voorkomt. Aan deze trigrammen kan geen waarde voor de kans worden toegekend. Dit betekent dat de uitkomst van de vermenigvuldiging, om de totale kans van de context te berekenen, ook de waarde nul toegekend krijgt. In mijn trigrammodel heb ik er daarom voor gekozen om de trigrammen die in het trainingscorpus niet voorkomen te voorzien van een kleine kans. Het computerprogramma wat het trigrammodel genereert evalueert voor elke trigram of deze in de trainingdata voorkomt. Wanneer de trigram in de trainingdata gevonden wordt, wordt de bijbehorende logwaarde uit de trainingdata ingelezen. Wanneer de trigram niet in de trainingdata voorkomt krijgt de betreffende trigram de standaardwaarde log(0,25) toegekend. Deze methode van smoothing, een standaardwaarde van log(0,25) invullen, moet in eerste instantie voldoende zijn om in grote lijnen te kunnen onderzoeken of het trigrammodel de tekstmoeilijkheid van middelbare schoolteksten kan bepalen. Mocht blijken dat het Etoc het trigrammodel ook daadwerkelijk wil gaan gebruiken, dan kunnen er altijd nog aanpassing gedaan worden aan het model. Waaronder het verfijnen van de smoothing en wellicht het aanleggen van een speciaal trainingscorpus met schoolboekteksten.

25 4.6 De schoolboekteksten van het Etoc Om te bepalen hoe goed het trigrammodel scoort ten opzichte van de huidige methodes voor het bepalen van de tekstmoeilijkheid is vergelijkingsmateriaal nodig. Het benodigde vergelijkingsmateriaal wordt vertegenwoordigd door een twintigtal teksten die ooit gebruikt zijn in een toets van Dia Tekst. De linguïstische analyse is bekend voor deze twintig teksten. Tevens is bekend tot welk Tekstniveau deze twintig teksten behoren. De basis voor het vergelijken van de bestaande versus de nieuwe methodes voor het bepalen van de tekstmoeilijkheid van schoolboekteksten wordt door deze twintig teksten gevormd. Onderstaande afbeelding (afbeelding 2) toont de data welke afkomstig is van het Etoc. In deze figuur staan de twintig teksten met hun bijbehorende data vermeld. De figuur laat twaalf kenmerken per tekst zien. Voor het vergelijken van de huidige methodes met de nieuwe methodes is niet alle data even belangrijk. De drie belangrijkste gegevens voor de vergelijking zijn het tekstnummer, het Tekstniveau en de gemiddelde Tekstmoeilijkheid. Afbeelding 2: Gegevens met betrekking tot de schoolboekteksten van het Etoc. 21 De andere kenmerken die per tekst in de afbeelding worden weergegeven zijn: de titel van de tekst, het schoolvak waarop de tekst betrekking heeft, het leerjaar waarop de tekst betrekking heeft, het schooltype van de bron waaruit de tekst afkomstig is, het aantal zinnen in de tekst, het totale aantal woorden per tekst, het gemiddelde aantal woorden per zin, het gemiddelde aantal letters per woord en de dekkingsgraad basisvocabulair. Om deze twintig teksten als testcorpus te kunnen gebruiken was het nodig een tweetal bewerkingen op de teksten toe te passen. De zinnen in de teksten stonden niet op één regel zoals in het Eindhovencorpus en het Twente Nieuws Corpus. Om de trainingsdata met de testdata te kunnen vergelijken was het noodzakelijk om alle zinnen op één regel te zetten. Een tweede aanpassing om de teksten geschikt te maken als testcorpus was het tokeniseren van de teksten. Op het moment dat ik een tokeniser nodig had om de zinnen uit de teksten op één regel te zetten en te tokeniseren was deze even niet voorhanden. Vandaar dat de twintig teksten handmatig getokeniseerd zijn. Omdat het hier slechts een twintigtal korte teksten betrof was het handmatig tokeniseren ervan een redelijke optie. Bij grotere hoeveelheden zou een tokeniser echter geen overbodige luxe zijn. Het tekstfragment (fragment 3) op de volgende pagina laat het resultaat van het tokeniseren zien.

26 22 Fragment 3: Fragment uit een schoolboektekst van het Etoc. De vleermuis Vleermuizen eten insecten. Die vangen ze 's nachts. De vleermuizen hebben heel goede ogen. Toch gebruiken ze die niet om muggen te vangen. Dat doen ze met de echo. Een teruggekaatst geluid noemen we een echo. Vleermuizen maken heel kleine, hoge geluidjes. Wel 200 per seconde. Dat geluid kaatst terug op een mug. De vleermuis kan dat horen. Hij volgt de echo's en vangt zo de mug. Waarom heeft de vleermuis van die grote oren? Denk je dat een mug veel echo geeft? Er komt ook nog echo van bomen en huizen. Toch zijn er vleermuizen die gemiddeld elke zes seconden een mug vangen. Als het ergens heel donker is, kunnen vleermuizen hun ogen niet gebruiken. Toch kunnen ze gewoon rondvliegen. Maar als je hun oren dichtstopt, vliegen ze overal tegenop. Als je vleermuizen wilt zien, moet je als het donker wordt buiten kijken. Als je ze naar je toe wilt lokken, moet je kleine steentjes in de lucht gooien. Je kunt dan ook de zachte, klikkende geluiden horen die ze maken. 4.7 Opbouw van het trigrammodel Alle benodigde bouwstenen voor het maken van het trigrammodel zijn in dit hoofdstuk besproken. De bouwstenen kunnen nu samengevoegd worden tot één geheel. Het opbouwen van het trigrammodel met eerder genoemde bouwstenen wil ik hieronder bespreken. Het trigrammodel wordt opgebouwd aan de hand van het trainingscorpus. Aan de hand van het trainingscorpus wordt de kennis van de wereld opgebouwd. De computer 'leert' als het ware Nederlands. In dit geval is het trainingscorpus het Eindhovencorpus danwel een deel van het Twente Nieuws Corpus. Om Nederlands te kunnen leren worden in het trainingscorpus alle trigrammen en bigrammen geteld. Aan het begin van elke zin worden twee pseudowoorden <s> toegevoegd. Verder worden in de telling van de trigrammen en bigrammen ook alle leestekens meegenomen. Wanneer alle trigrammen en bigrammen geteld zijn wordt aan de hand van formule 2 de kans op alle individuele trigrammen geschat. Van deze kans wordt ook meteen de log berekend. Van elke individuele trigram uit het trainingscorpus wordt de log vervolgens in een tekstbestand opgeslagen. Dit tekstbestand is de trainingsdata, de kennis van de Nederlandse taal waarover de computer nu kan beschikken. Onderstaande fragment (fragment 4) laat een deel van de trainingsdata zien. Fragment 4: Een fragment uit de trainingsdata van het Eindhovencorpus. Het meest exclusieve Het meest fascinerende Het meest opvallend Het meest recent Het meest schokkende Het meeste geld Het meeste was Het meisje Fietje Het meisje had Het meisje is

27 Om nu de score van het trigrammodel te kunnen berekenen wordt het bestand met de trainingsdata weer in de computer ingelezen. Vervolgens wordt het testcorpus, de twintig schoolboekteksten, regel voor regel ingelezen. Daarna wordt voor elke trigram in het testcorpus gekeken of deze in de trainingsdata voorkomt. Wanneer een trigram uit het testcorpus in de trainingsdata voorkomt wordt de logwaarde, behorende bij die trigram, toegevoegd aan het totaal van alle tot dan toe geobserveerde logs. Wanneer de betreffende trigram niet in de trainingsdata te vinden is wordt de standaardwaarde log(0,25) toegevoegd aan het totaal van alle logs. Tegelijkertijd wordt de frequentie van het totale aantal trigrammen bijgehouden. Nadat alle trigrammen uit het testcorpus aan de hand van de trainingdata een score gekregen hebben wordt de score voor het gehele testcorpus bepaalt. De score van het trigrammodel voor het gegeven testcorpus, de gemiddelde logscore, wordt berekend aan de hand van formule 3. De totale waarde, van alle bij elkaar opgetelde, logs wordt gedeeld door het totale aantal trigrammen in de betreffende tekst. Dit levert de gemiddelde logscore van de betreffende tekst op. Het maken van het trigrammodel bestaat dus eigenlijk uit twee aparte taken. De kennis van de wereld opbouwen en de score van de testcorpus berekenen. Vandaar dat ook het trigrammodel uit twee los van elkaar werkende computerprogramma's bestaat. Het eerste programma bouwt het trigrammodel op en slaat dit op in een tekstbestand. Het tweede programma leest dit tekstbestand met trainingsdata in. Vervolgens wordt met behulp van de trainingsdata uit het eerste programma de score van het testcorpus berekend. Door de taken van elkaar te scheiden hoeft bij het berekenen van de logscore niet elke keer opnieuw een trigrammodel opgebouwd te worden. Dit scheelt aanzienlijk in de tijd die het programma nodig heeft om de gemiddelde logscore van het testcorpus te berekenen. 23

28 24 5 Resultaten In dit hoofstuk worden de resultaten van het onderzoek besproken. De scores van zowel het trigrammodel op basis van het Eindhovencorpus als het trigrammodel op basis van de verschillende trigrammodellen op basis van het Twente Nieuws Corpus komen aan de orde. Daarna worden de resultaten van de beide corpora met elkaar vergeleken en wordt het verband tussen de gemiddelde logscore en het Tekstniveau toegelicht. Als laatste volgen in dit hoofdstuk de conclusie en suggesties voor eventueel verder onderzoek. 5.1 Scores van het Eindhovencorpus Uit het onderzoek kwam naar voren dat de waarde voor de onbekende trigrammen een nogal sterke invloed had op de gemiddelde logscore van de schoolboekteksten. De kolommen in onderstaande grafiek (grafiek 1) laten de gemiddelde logscore zien, berekend met een waarde voor de onbekende trigrammen van respectievelijk log(0,25), log(0,10) en log(0,01). De sterke invloed van de onbekende trigrammen blijkt uit de grote verschillen in de gemiddelde logscore. De gemiddelde logscores voor de waarde van log(0,25) en log(0,01) liggen ver uit elkaar. Het lijkt erop dat de onbekende trigrammen een grote invloed uitoefenen op de gemiddelde logscore van de schoolboekteksten. Grafiek 1: Gemiddelde -logscore van schoolboekteksten.

29 Aangezien de onbekende trigrammen een grote invloed lijken te hebben op de gemiddelde logscore van de schoolboekteksten is het wenselijk een groter trainingscorpus te gebruiken. Hier biedt het Twente Nieuws Corpus uitkomst. Bij de resultaten van het Twente Nieuws Corpus is te zien dat de grote verschillen tussen de verschillende waardes van voor de onbekende trigrammen vrijwel geneutraliseerd zijn. Het lijkt er dus inderdaad op dat het Eindhovencorpus niet voldoende groot is. Hierdoor wordt er teveel gewicht aan de onbekende trigrammen toegekend. De resultaten van de testen op basis van het Eindhovencorpus zijn echter niet geheel waardeloos. Na berekening blijken het Tekstniveau van het Etoc en de gemiddelde logscore met een standaardwaarde van log(0,25) voor de onbekende trigrammen met elkaar te correleren. Deze correlatie is bovendien significant. Onderstaande tabel (tabel 7) toont de correlatie tussen het Tekstniveau, de gemiddelde Tekstmoeilijkheid, de gemiddelde zinslengte, de gemiddelde woordlengte, de dekkingsgraad basisvocabulair en de gemiddelde logscore van het Eindhovencorpus. Tabel 7: Correlatie van de gemiddelde logscore van het Eindhovencorpus. Tekstniveau Correlatie -0,612** Significantie 0,004 Tekstmoeilijkheid Correlatie -0,256 Significantie 0,277 Gemiddelde Correlatie -0,177 Zinslengte Significantie 0,456 Gemiddelde Correlatie -0,449* Woordlengte Significantie 0,047 Dekkingsgraad Correlatie 0,552* Basisvocabulair Significantie 0,012 Gemiddelde logscore Eindhovencorpus ** Correlatie is significant op het niveau p<0,01 (2-zijdig) * Correlatie is significant op het niveau p<0,05 (2-zijdig) De tabel laat een correlatie van 0,612 tussen het Tekstniveau en de gemiddelde logscore van het Eindhovencorpus zien. Deze correlatie is tevens significant op het niveau van 0,01. Deze correlatie toont aan dat er een verband bestaat tussen de gemiddelde logscore en het Tekstniveau. Het trigrammodel op basis van het Eindhovencorpus kan dus tot op zekere hoogte schoolboekteksten indelen op moeilijkheidsgraad aan de hand van de gemiddelde logscore. Het verband laat echter niet zien of het trigrammodel op basis van het Eindhovencorpus schoolboekteksten béter op moeilijkheidsgraad kan beoordelen dan de huidige linguïstische analyse waarop het Tekstniveau is gebaseerd. Wat tevens niet duidelijk uit de gegevens in de tabel naar voren komt is een correlatie tussen Tekstmoeilijkheid en de score van het Eindhovencorpus. Dit is spijtig aangezien het Tekstniveau gebaseerd is op de linguïstische analyse en de Tekstmoeilijkheid gebaseerd is op toetsresultaten van leerlingen. Een sterke correlatie tussen de gemiddelde Tekstmoeilijkheid en de gemiddelde logscore zou duiden op een verband tussen de tekstmoeilijkheid zoals leerlingen die ervaren en de gemiddelde logscore van een tekst. 25

30 Er is wel een kleine correlatie van 0,256, maar deze is niet significant. Niet op het niveau van 0,01 en ook niet op het niveau van 0,05. Hoewel er dus geen duidelijke correlatie is tussen de gemiddelde Tekstmoeilijkheid en de gemiddelde logscore van het Eindhovencorpus is er bij de uitsplitsing van de onderdelen van de linguïstische analyse wel enig resultaat te zien. Tussen de Dekkingsgraad van de basiswoordenlijst en de gemiddelde logscore van het trigrammodel op basis van het Eindhovencorpus is een correlatie van 0,552 te zien die significant is op het niveau van 0,05. Daarbij is ook de correlatie tussen de gemiddelde woordlengte en de gemiddelde logscore met 0,449 een opsteker voor de prestaties van het trigrammodel op basis van het Eindhovencorpus. Deze correlatie is sterker dan de correlatie tussen de linguïstische analyse en de gemiddelde Tekstmoeilijkheid zoals deze is beschreven in tabel 4. Hoewel de resultaten van het trigrammodel op basis van het Eindhovencorpus niet geheel betrouwbaar zijn laten de resultaten een positieve indruk na voor verder onderzoek. Gezien de uitschieters voor de verschillende waarden voor de onbekende trigrammen in de gemiddelde logscores is een groter trainingscorpus, waarin meer 'taalkennis' aanwezig is, misschien een oplossing. Wanneer een groter trainingscorpus ervoor kan zorgen dat de onbekende trigrammen minder invloed op de gemiddelde logscore hebben worden de resultaten betrouwbaarder. Tevens komt er wellicht een duidelijker correlatie tussen de gemiddelde Tekstmoeilijkheid en de gemiddelde -logscore van het testcorpus naar voren. 5.2 Scores van het Twente Nieuws Corpus Uit het onderzoek met het Eindhovencorpus kwam naar voren dat de trigrammen die niet in de trainingdata voorkomen een vrij grote invloed op de gemiddelde logscore van de schoolboekteksten hebben. Dit zou kunnen betekenen dat er veel trigrammen niet in de trainingdata staan die wel in de schoolboekteksten voorkomen. Om deze reden heb ik een aantal verschillende trainingscorpora op basis van het Twente Nieuws Corpus samengesteld. Ik heb voor verschillende corpora gekozen om te zien hoeveel invloed de verschillende trainingscorpora op de gemiddelde logscore hebben. De resultaten van deze verschillende trainingscorpora zijn met elkaar en met het Eindhovencorpus vergeleken. Onderstaande tabel (tabel 8) laat de inhoud van de verschillende trainingscorpora op basis van het Twente Nieuws Corpus zien. Tabel 8: Inhoud van de verschillende trainingscorpora. Trainingscorpus Inhoud AD2004 Alle krantentekst uit het Algemeen Dagblad, jaargang ADVK2004 Alle krantentekst uit het Algemeen Dagblad en de Volkskrant, jaargang ADNRCVK2004 Alle krantentekst uit het Algemeen Dagblad, Het NRC en de Volkskrant, jaargang AD Alle krantentekst uit het Algemeen Dagblad, jaargang 2003 en AD Alle krantentekst uit het Algemeen Dagblad, jaargang 2002, 2003 en NRC Alle krantentekst uit het NRC, jaargang 2002, 2003 en PAROOL Alle krantentekst uit het Parool, jaargang 2002, 2003 en TROUW Alle krantentekst uit de Trouw, jaargang 2002, 2003 en VK Alle krantentekst uit de Volkskrant, jaargang 2002, 2003 en

31 Waar bij het Eindhovencorpus de verschillende waardes voor de onbekende trigrammen grote verschillen in de gemiddelde logscores van de schoolboekteksten lieten zien is dit bij de verschillende trainingscorpora op basis van het Twente Nieuws Corpus niet het geval. De kolommen in onderstaande grafiek (grafiek 2) laten de gemiddelde logscore zien, berekend met een waarde voor de onbekende trigrammen van respectievelijk log(0,25), log(0,10) en log(0,01) voor het AD2004 trainingscorpus. De grafiek laat zien dat de waarde van de onbekende trigrammen nauwelijks nog invloed heeft op de gemiddelde logscore. Het scheelt slechts één duizendste op de gemiddelde logscore per schoolboektekst. De gegevens van de andere trainingscorpora op basis van het Twente Nieuws Corpus laten een soortgelijk patroon zien. Ook bij deze corpora zijn de verschillen in gemiddelde logscores voor de verschillende waardes van de onbekende trigrammen zeer klein. Grafiek 2: Gemiddelde logscore van schoolboekteksten. 27 Wanneer wordt gekeken naar de correlatie tussen het Tekstniveau, de gemiddelde Tekstmoeilijkheid en de gemiddelde logscores van de verschillende trainingscorpora lijken de verschillen zeer groot. Onderstaande tabel (tabel 9 op de volgende pagina) toont de correlatie tussen Tekstniveau, gemiddelde Tekstmoeilijkheid en de gemiddelde logscore van de verschillende trainingscorpora op basis van het Twente Nieuws Corpus.