Efficiënt zoeken in grote tekstbestanden

Transcriptie

1 Efficiënt zoeken in grote tekstbestnden Een gstles wiskunde voor hvo/vwo 3 en 4, verzorgd door de Universiteit Twente Mriëlle Stoeling en Mrk Timmer Google, Twitter, en Fcebook doorzoeken in een mum vn tijd miljrden tekstdocumenten: google je wiskunde, dn krijg je zo n 4 miljoen resultten binnen 0,1 seconde. Hoe doen pplicties ls Google, Twitter en Fcebook dit? Binnen de Informtic zijn een ntl slimme methoden (ook wel lgoritmen genoemd) ontwikkeld om snel te zoeken in tekstbestnden. Deze methoden zijn gebseerd op zogenmde eindige utomten: een specil soort grfen wrvn de pijlen gelbeld zijn met letters vn het te zoeken woord. Wij hebben begin dit jr een gstcollege gegeven over deze methoden n leerlingen vn hvo 3 en vwo 4. De gstles vond plts op het Twickel College te Hengelo. In dit rtikel beschrijven we deze gstles: we leggen uit hoe deze zoekmethoden werken, en welke opdrchten we gedn hebben binnen de gstles. Ook gn we dieper in op de wiskundige chtergronden vn de methoden uit de les uit --- dit hoeven de leerlingen zelf niet te weten, mr geeft n dt onze eindige utomten geen d hoc methoden zijn, mr deel uitmken vn een rijke en ook elegnte wiskundige theorie, die een fundmentele rol speelt binnen de Informtic. Al het lesmteril dt we gebruikt hebben stellen we ter beschikking, inclusief een docentenhndleiding; het kn gedownlod worden vi de UT-website, zols hieronder verwezen wordt. We hopen dt dit mteril wiskundedocenten zl inspireren om ook eens een les over dit onderwerp te geven, en zo leerlingen te lten zien wr wiskunde toe kn leiden. Context vn de gstles. Deze gstles is gegeven in het kder vn Twents Meesterschp, een ctiviteit vn de Universiteit Twente (UT) voor hvo/vwo-docenten. Getiteld Op bezoek bij onderzoek, verzorgen onderzoekers n de universiteit workshops over nieuwe ontwikkelingen in hun eigen onderzoek (wiskunde, informtic, ntuurkunde, scheikunde, biologie, economie, en mngement). Drnst zijn er workshops over onderwijsctiviteiten die de UT nbiedt n middelbre scholen: profielwerkstukbegeleiding, online leeromgevingen in de kls, en het leerlingenlb wr leerlingen proeven kunnen doen met gevnceerde proefopstellingen die op de meeste middelbre scholen niet nwezig zijn. Meer informtie over het Twents Meesterschp is te vinden onder Om lesuitvl te voorkomen, worden de lessen vn docenten die deelnemen n het Twents Meesterschp overgenomen door studenten en docenten vn de Universiteit Twente. Wij hebben, zols gezegd, enkele lessen overgenomen n het Twickel College te Hengelo.

2 Nïef zoeken in teksten. Het zoekprobleem dt we in de in de gstles hebben behndeld luidt ls volgt: gegeven een woord w (ook wel ptroon genoemd) en een tekst T, willen we weten of w voorkomt in T. Een voor de hnd liggende mnier om dit te doen, is het een-voor-een vergelijken vn de letters vn w in T. Een voorbeeld: we zoeken het woord nns in de tekst T = s s n n n n s s. De nïeve methode is weergegeven in de onderstnde tbel. In regel i checken we of het woord nns begint op positie i in de tekst T. Zodr we een letter vinden die niet gelijk is, gn we nr de volgende positie. We beginnen op positie 1 vn de tekst. Angezien de eerste letter niet klopt (het is een s mr moet een zijn; zie regel 1 in tbel), gn we kijken of het woord begint op positie 2. Nu is de eerste letter wel goed, mr de tweede letter niet (is een s, mr moet een zijn, zie regel 2). Op nr positie 3, wr de eerste letter niet goed is. Dus nr positie 4. Hier zijn de eerste vijf letters goed, mr hels, de ltste letter is een n in plts vn een s, et ceter. Ps vnf positie 8 vinden we het woord: lle letters zijn goed s s n n n n s s 1 2 n 3 4 n n 5 6 n n n 7 8 n n s Hels is deze methode niet efficiënt, ngezien geen gebruik wordt gemkt vn herhlingen in het woord nns: we zien bijvoorbeeld dt de letters op posities 7 en 8 wel drie keer bekeken worden. Dit is niet nodig, wnt door slim gebruik te mken vn herhlingen in het woord, hoeven lle letters uit de tekst mr eenml bekeken te worden. Dit is precies wt eindige utomten doen: gebruikmken vn herhlingen in een woord. Stel bijvoorbeeld dt we de letters nn l hebben gelezen, en de volgende letter is een n --- dus we zien nnn. Dit is niet het woord nns, mr we zijn wel l een eind op weg: we hebben l het beginstuk nn gezien, en hoeven dus lleen nog mr een en een s te lezen. Eindige utomten onthouden dit door een toestnd bij te houden, en zorgen zo voor efficiëntie.

3 n, s, n, s n n s n n nn nn s n,s n s n,s : ) Figuur 1 Theorie vn eindige utomten. Een eindige utomt (zie Figuur 1 voor een voorbeeld) is een grf wrvn de pijlen gelbeld zijn met letters uit een voorf gegeven eindige verzmeling A, die we het lfbet vn de utomt noemen. Er is een begintoestnd, die we ngeven met een inkomende pijl uit het niets, en een eindtoestnd, die we in dit gevl visueel ngeven met een smiley. Een woord w wordt gevonden in de tekst, ls je door de letters vn het woord w te volgen vnf de begintoestnd, in de eindtoestnd terechtkomt; we zeggen in dt gevl dt de utomt het woord w ccepteert. De utomt uit Figuur 1 ccepteert dus het woord nns (en ieder nder woord dt nns bevt). Als we met deze utomt het woord nns gn zoeken in de tekst s s n n n n s s, dn zien we dt de tekst inderdd geccepteerd wordt. Bovendien hebben we iedere letter uit te tekst mr één keer bekeken, en dt is dus sneller dn bij de nïeve methode vn boven. Een utomt ccepteert in het lgemeen meerdere woorden. De verzmeling vn lle woorden die door een utomt A geccepteerd worden, heet de tl vn A. De utomt uit Figuur 2 ccepteert oneindig veel woorden: ieder woord dt miniml drie s bevt wordt geccepteerd (ndere letters mogen willekeurig vk voorkomen). De utomt uit Figuur 3 ccepteert lle woorden wrin het ntl s een drievoud is. b, c b, c b, c, b, c b, c b, c b, c : ) : ) 1 2 Figuur 2 Figuur 3

4 Formeel ziet het bovenstnde frmework er ls volgt uit --- onderstnde theorie hoeft uiterrd niet door de leerlingen begrepen te worden. Definitie 1. Een eindige utomt A is een 5-tupel (S, s 0, Σ, F, Δ) wrbij S een eindige verzmeling vn toestnden is; s 0 ϵ S de initiële toestnd is; Σ het lfbet vn A is; F S de verzmeling vn eindtoestnden is; Δ: S Σ S de toestndsovergngsfunctie is. De betekenis vn Δ(s,) = s is dt de utomt vnuit toestnd s een kn lezen, om vervolgens verder te gn vnuit toestnd s. In de visulistie (die we het toestndsdigrm noemen) tekenen we dn een pijl vn s nr s met lbel. Een pd in A is een rijtje s 0 1 s 1... n s n, wrbij s i ϵ S, i ϵ Σ en Δ(s i, i+1 ) = s i+1. Het woord dt gelezen wordt met dit pd is 1... n. Woord w wordt geccepteerd door A indien er een pd p in A bestt zodnig dt p begint in de begintoestnd, eindigt in een toestnd uit F en het woord dt met p gelezen wordt gelijk is n w. De tl vn A is nu de verzmeling vn lle woorden die door A geccepteerd worden. Een interessnte stelling in de theorie vn eindige utomten is dt niet lle tlen beschreven kunnen worden door utomten. Het is bijvoorbeeld onmogelijk om een utomt te construeren die de tl L = { k b k k ϵ N} ccepteert. (Hierbij betekent k dt we k keer de letter chter elkr zetten; we bedoelen dus geen mchtsverheffen. De tl L bevt in dit gevl lle woorden met eerst een ntl s en dn precies hetzelfde ntl b s.) Intuïtief is de reden voor deze onmogelijkheid dt de utomt die L zou ccepteren moet onthouden hoeveel s hij vn een woord l gelezen heeft. Echter, omdt een utomt eindig is (zeg dt hij m toestnden heeft), kn hij nooit meer dn m letters onthouden. Stelling 1. Er bestt geen eindige utomt die de tl L = { k b k k ϵ N} ccepteert. Bewijs. Stel, er bestt een eindige utomt A die L ccepteert. Lt m het ntl toestnden in A zijn. We bekijken het woord w = m b m. Dit woord zit in L, dus moet er in A een pd p = s 0 1 s m s 2m zijn vn de begintoestnd nr de eindtoestnd dt woord w leest. Merk op dt dit pd 2m + 1 toestnden heeft. Omdt A mr m toestnden heeft, moeten sommige vn de toestnden vn p gelijk zijn n elkr. Stel dt s i = s j (i j), dn bevt de eindige utomt dus een cycle vnuit de toestnd s i. Als lle letters op de overgngen binnen deze cycle de letter lezen, en de cycle bijvoorbeeld n overgngen lng is, dn zou dt betekenen dt het woord m+n b m ook in de tl vn A zit. Immers, we kunnen een nieuw pd construeren op bsis vn p, door de cycle tweeml te doorlopen. Angezien de nnme ws dt A de tl L ccepteert en m+n b m geen woord in L is, levert dit een tegensprk op. Dezelfde redentie gt op voor het gevl dt lle overgngen een b lezen. In gevl dt er zowel s ls b s op de cycle voorkomen zou een dubbele doorloop zelfs zorgen voor een woord wrin s en b s door elkr heen stn; ook dit soort woorden bevinden zich niet in A. Angezien de eindige utomt die precies L ccepteert in lle gevllen ook woorden ccepteert niet in L zitten,

5 komen we ltijd uit op een tegensprk. Hieruit volgt dt er blijkbr geen eindige utomt bestt die de tl L ccepteert. De gstles. Hoewel de gstles gebseerd ws op de bovenstnde theorie, hebben we uiterrd niet ls doelstelling gehd om een dergelijke formele definitie en redentie over te brengen. Wt we wel wilden bereiken ws het volgende: De leerling weet dt zoeken in tekstbestnden op meerdere mnieren kn, en is zich ervn bewust dt deze mnieren verschillen in efficiëntie. De leerling kn op een intuïtieve wijze uitleggen wt eindige utomten zijn en wr ze voor dienen. De leerling kn een toestndsdigrm vn een eindigde utomt herkennen en interpreteren. In eenvoudige gevllen kn de leerling beplen wt de tl is die door de utomt wordt geccepteerd. De leerling kn, gegeven een of meerdere woorden, een eindige utomt construeren die deze woorden ccepteert. Vervolgens kn de leerling deze woorden in een gegeven tekst zoeken met behulp vn de eindige utomt. Om deze leerdoelen te bereiken moeten we vnzelfsprekend uitgn vn een beplde voorkennis. Angezien er `gerekend wordt met woorden, is het vn belng dt leerlingen l enigszins kennis hebben gemkt met vrinten vn wiskunde die niet lleen over het rekenen met getllen gn. Met nme ervring met letterrekenen lijkt een goede bsis voor dit onderwerp te zijn, ngezien leerlingen dn l enig bstrctieniveu hebben bereikt en niet l te vreemd op zullen kijken vn een wiskundige npk vn problemen die niet over getllen gn. De gstles die we gegeven hebben bevtte vier onderdelen: 1. Motivtie vn het onderwerp (3-5 minuten); 2. Uitleg vn de stof (8-10 minuten); 3. Mken en bespreken vn een ntl opdrchten (30-35 minuten); 4. Terugblik (3-5 minuten). Motivtie vn het onderwerp: Het eerste gedeelte vn de les bestond uit een informele introductie op het onderwerp: wrom is efficiënt zoeken belngrijk? Hierbij hebben we de bovengenoemde voorbeelden vn Google, Fcebook en Twitter genoemd. Door concrete sttistieken te noemen over het ntl zoekentermen per dg bij Google werd duidelijk hoe belngrijk efficiëntie hier is. Uitleg vn de stof: N de introductie hebben we twee technieken behndeld om te zoeken in tekstbestnden. Eerst hebben we de nïeve methode behndeld, wrbij vnf iedere positie gekeken wordt of het woord op die positie begint (zols uitgelegd n het begin vn dit rtikel). Door duidelijk te mken dt hierbij dubbel werkt verricht wordt, kwmen we uit op een slimme methode die bijhoudt wt je l gezien hebt: eindige utomten.

6 Vn deze methode hebben we grofweg de bovenstnde theorie behndeld tot n de formele definitie; het voorbeeld in Figuur 2 mkte onderdeel uit vn de opdrchten die de leerlingen hebben uitgevoerd. Opdrchten: We hebben de leerlingen (in tweetllen) lten werken n een viertl opdrchten: In Opdrcht 1 moesten de leerlingen de utomt die we tijdens de les hdden gemkt (Figuur 1) gebruiken om het woord nns te zoeken in een gegeven tekst. Bij iedere letter uit te tekst moesten zij de positie uit de utomt noteren die ze tegenkwmen bij het zoeken. Deze opdrcht lt leerlingen werken met de theorie, en stelt hen in stt om de theorie beter te begrijpen. Opdrcht 2 vroeg de leerlingen een utomt te mken die het woord cco ccepteert. Dit gt op dezelfde mnier ls de utomt voor het woord nns, en leverde nr verwchting geen problemen op. In Opdrcht 3 werd gevrgd om een utomt te construeren die uitvindt of een tekst het woord pen, het woord nep of beide woorden bevt. Hiervoor moesten leerlingen cretiviteit gebruiken om op de goede utomt uit te komen. Ongeveer de helft vn de leerlingen kwm zelf tot het juiste ntwoord, de ndere helft hd een hint nodig, mr uiteindelijk kwm men er wel uit. Opdrcht 4 vroeg om een utomt te mken die uitzoekt of een tekst miniml 3 s bevt. Angezien deze s niet chter elkr hoeven te stn werd dit lstig gevonden. Een ntl leerlingen zg toch onmiddellijk wt de bedoeling ws, een ntl nderen kwm er met een hint wederom uit. We hdden een ntl ntwoordblden uitgedeeld, wrop de opgven vermeld stonden en leerlingen hun utomten konden tekenen. Vervolgens werden deze klssikl besproken, en werden uiteindelijk de juiste ntwoorden door middel vn een bemer geprojecteerd. Terugkijken/Reflectie: Juist omdt het een gstles vnuit de universiteit betrof, vonden we reflectie belngrijk: wt hebben we geleerd? Werkt de methode echt? En: is dit wel wiskunde? Evlutie. De leerlingen hdden geen enkele moeite om de theorie te volgen en kwmen -- hier en dr met enige hulp -- goed uit de opdrchten. Omdt de stof niet tot de stndrd exmenstof behoort, wren echter niet lle leerlingen gemotiveerd om ook met de stof n de slg te gn. Leerlingen die meteen meededen vonden het een grppig onderwerp, voorl omdt het lt zien dt je ook zonder getllen leuke wiskunde kunt doen. Uiteindelijk denken we dt de leerdoelen behld zijn. De leerlingen hebben inderdd kennisgemkt met verschillende zoekstrtegieën, en leken begrepen te hebben dt het zoeken door middel vn eindige utomten efficiënter is dn de nïeve methode. Bovendien hdden leerlingen n de uitleg geen moeite met het hnteren vn een eindige utomt om te zoeken in een tekst. Het construeren vn een utomt die een ntl gegeven woorden ccepteert is uiteindelijk ook iedereen gelukt. Het oefenen met het beplen vn de tl vn een gegeven

7 utomt is niet uitgebreid n de orde gekomen; hier zou eventueel in een vervolgles nog ndcht n besteed kunnen worden. We denken dt de leerlingen n deze les een interessnt kijkje hebben kunnen nemen in de keuken vn de gevnceerdere wiskunde. Hoewel de uitleg uiterrd nog niet heel ingewikkeld ws, hebben leerlingen zo l wel eens kennisgemkt met een vorm vn wiskunde die ze norml gesproken op de middelbre school nog niet zien. Wr kom je eindige utomten nog meer tegen? Zols gezegd, zijn eindige utomten één vn de meest fundmentele wiskundige modellen binnen de Informtic. Ze worden onder ndere gebruikt bij prseren, dt wil zeggen het omzetten vn computerprogrmm s (bijvoorbeeld in C, PHP of Jv) nr instructies voor de computer. Drnst zijn ze belngrijk om processen en protocollen te modelleren. Als je bijvoorbeeld een bericht over het internet wilt versturen, dn moeten de instructies in een beplde volgorde worden nroepen. In welke volgorde dt moet, wordt beschreven door een utomt. De populire modelleertl UML bevt bijvoorbeeld dit soort utomten (Stte Chrts geheten). Beschikbr mteril. Wij hebben de gstlessen gegeven n de hnd vn een presenttie in PowerPoint. Voor het mken vn de opdrchten wren ntwoordvellen beschikbr; deze wren vn te voren uitgeprint. Dit mteril mg gebruikt worden tijdens de lessen, mits het copyright notice (ontwikkeld door Mriëlle Stoeling n de Universiteit Twente) wordt vermeld. Presenttie: Antwoordvellen: Over de uteurs. Mriëlle Stoeling is Universitir Docent Informtic n de Universiteit Twente. Zij is gespeciliseerd in softwre-testtechnieken en nlyse vn stochstische modellen. Mrk Timmer is promovendus n de Universiteit Twente. Zijn promotieonderzoek gt over het efficiënt nlyseren vn stochstische modellen door middel vn bstrctie. Drnst volgt hij de lerrenopleiding wiskunde n het onderwijsinstituut ELAN.