Intelligente feedback in e learning

Transcriptie

1 Intelligente feedback in e learning Hans Cuypers Gemma Corbalan Bastiaan Heeren Erik Jansen Johan Jeuring Jan Willem Knopper Josje Lodder Rick van der Meiden Wouter Pasman E learning systemen zijn uitermate geschikt om onderwijsmateriaal via het web te ontsluiten en om de communicatie tussen docent en student bij afstandsonderwijs te faciliteren. We zien dit o.a. in de zgn. Electronische Leer Omgevingen (ELO's). Er zijn echter ook andere vormen van e learning, zoals het gebruik van de computer als intelligente tutor. Deze vorm van e learning, aanvankelijk onder de naam Computer Aided Instruction (CAI), heeft de afgelopen decennia veel minder ingang gevonden. Het is ook veel moeilijker gebleken om de student bij het leren zelf te ondersteunen. Dat vraagt om het kunnen volgen van het leerproces van de student en het kunnen bijsturen waar nodig. In dit artikel beschrijven we de resultaten van een onderzoeksproject1 op het gebied van e learning voor wiskunde, in het bijzonder de lineaire algebra. Hoewel lineaire algebra een typisch wiskundevak is, zijn de resultaten van het onderzoeksproject ingezet in een informatica opleiding, en zijn de resultaten van het project ook relevant voor andere informatica vakken waarin algebraïsche vaardigheden aan bod komen, zoals semantiek, programmacorrectheid, etc. We beschrijven een strategietaal en een parser waarmee oplossingspaden kunnen worden beschreven en waarmee de stappen van de student gevolgd kunnen worden. Vervolgens kan daarmee automatisch feedback worden gegenereerd tijdens het oplossen van de som en niet alleen achteraf. E learning voor wiskunde Door de invoering van het studiehuis en de automatische rekenmachine op de middelbare school blijken de algebraïsche vaardigheden van aankomende studenten in het hoger onderwijs steeds verder achter te lopen bij het gewenste niveau van de aansluitende universitaire opleiding (Eindrapport NKBW2). Daarom worden nu instaptoetsen en bijspijkercursussen georganiseerd. De resultaten van deze toetsen en cursussen laten echter zien dat in veel gevallen aanvullend maatwerk nodig is. Soortgelijke problemen zijn er ook bij de overgang van MBO HBO en HBO WO. Verder staat het wiskunde onderwijs in het algemeen, ook bij de informatica opleidingen, onder druk door de toename van actieve" werkvormen zoals projectonderwijs en practica bij andere vakken. Deze onderwijsvormen leggen een groot beslag op de student en concurreren daardoor in tijd met de wiskunde die het nog moet doen met de klassieke instructie en huiswerk in de vorm van individuele oefenopgaven. E learning zou als actieve onderwijsvorm een goed alternatief kunnen zijn voor de traditionele "passieve" onderwijsvormen, als het meer zou doen dan alleen het electronisch ontsluiten van leerstof die nu ook al in boekvorm beschikbaar is. E learning kan pas meerwaarde bieden als het ook feedback naar de student zelf kan geven. Leren is een gecompliceerd proces waarbij een vorm van tutoring essentieel is. De standaard vorm van e learning voor wiskunde gaat uit van een oefenbank met opgaven die de student met potlood en papier maakt en door de computer laat verifiëren door het antwoord in te typen. Het systeem kan een "goed" of "fout" geven, al of niet gevolgd door een aanwijzing. Voor het toetsen van het antwoord wordt vaak een Computer Algebra Systeem (CAS) gebruikt zoals Maple, Mathematica of Matlab. Daarmee wordt het e learning systeem een stuk beter bestand tegen bepaalde variaties in de vorm van de antwoorden: (1+x)^2 is wiskundig gelijk (equivalent) aan x^2+2x+1, maar een simpele parser zou dit mogelijk fout rekenen. Verder maakt een CAS het mogelijk om "geparametriseerde" opgaven te gebruiken, dwz. hetzelfde type som kan worden aangeboden in verschillende uitvoeringen, met verschillende getallen. Het systeem kan zelf het nieuwe antwoord uitrekenen en vergelijken met het antwoord dat de student geeft. Als het antwoord echter fout is, dan is het voor een e learning systeem niet eenvoudig te achterhalen waar de student een fout gemaakt heeft. Een ervaren leraar kent de veel gemaakte "logische" fouten en kan deze onderscheiden van simpele rekenfouten, maar ook dan is het geven van individuele feedback niet altijd mogelijk (Baki & Güveli, 2008).

2 Voor een e learning systeem is deze diagnose veel moeilijker te stellen. Een optie is om de opgave dan "in stappen" te doen. Door eerst een deelvraag te stellen kan het systeem de student een hint geven hoe het probleem aan te pakken. Stapsgewijs kan de student dan door de opgave geleid worden naar het goede antwoord. Vooral voor een beginner die met opgaven oefent is het belangrijk om bij iedere stap feedback te krijgen (Mory, 2003). Het MathDox systeem zoals ontwikkeld aan de TU Eindhoven (zie box 1) heeft onder andere deze optie geïmplementeerd. Een andere optie is het e learning systeem te gebruiken als een electronische rekenmachine die de opgave in stappen uitvoert op aangeven van de student. Vanuit de beginsituatie selecteert de student (voorgeprogrammeerde) operaties die door het systeem worden uitgevoerd, totdat het eindantwoord bereikt is. De student moet zelf de juiste stappen bedenken en uitvoeren maar het rekenwerk wordt door het systeem gedaan. Nu weet het systeem wél welke opdrachten gegeven zijn en kan het de gekozen stappen direct vergelijken met de beoogde oplossingsprocedure. Een dergelijk systeem is ontwikkeld aan de TU Delft (zie box 2). Nog een ander systeem gaat uit van een vrije invoer. Het e learning systeem is dan een editor waarmee de student een opgave kan uitwerken door de berekening geheel op de computer uit te voeren. Door mee te lezen kan het systeem proberen te achterhalen welke operaties en denkstappen de student heeft uitgevoerd. Dit is de opzet van de Exercise Assistant ontwikkeld aan de Open Universiteit Nederland (zie box 3). Naast de hier genoemde systemen zijn er ook diverse commerciële systemen met vergelijkbare functionaliteit zoals Aleks3, MyMathLab4 en WebAssign5. Al deze meer intelligente interfaces veronderstellen expliciete kennis van het domein, van de mogelijke operaties binnen dat domein, en van procedures (strategieën) om opgaven met behulp van die operaties op te lossen. De docent die een opgave bedenkt en invoert in een e learning systeem zou in principe al deze kennis expliciet in het systeem moeten inbrengen om gericht feedback te kunnen geven. Dit is echter niet altijd eenvoudig. Ten eerste zijn de meeste oplossingsmethoden ondanks het exacte wiskundige domein toch op een vrij intuïtieve manier in taal beschreven, bv. de regel breng de breuken op een gelijke noemer. Automatische verwerking door een computer van deze suggestie vraagt een veel formelere beschrijving. Ten tweede zijn er vaak meerdere oplossingsmethoden mogelijk, en ook binnen één methode zijn vaak vele variaties toegestaan. Zo kun je van 4x(5 2) eerst 4 x 3 maken, maar je kunt ook eerst de haakjes wegwerken en 4x5 en 4x2 uitrekenen en die dan van elkaar aftrekken. Ook kunnen sommige getalcombinaties bepaalde stappen van een procedure overbodig maken of het eindantwoord kan al duidelijk zijn voordat de procedure geheel is afgelopen. Het is dus én veel werk én nauwelijks te overzien om deze kennis expliciet in een e learning systeem in te brengen. Aanvullend moet de docent dan nog hints en andere feedback op de juiste plaatsen toevoegen. Zoals gezegd kunnen die plaatsen talrijk en zeer variabel zijn. Strategietaal In plaats van alle mogelijke feedback door de docent te laten invoeren, zou het eenvoudiger en efficiënter zijn als het systeem zelf de feedback zou kunnen genereren vanuit een specificatie van de oplossingsmethode. De oplossingsmethode zouden we kunnen beschrijven als een serie wiskundige operaties, die enerzijds bestaat uit herschrijfoperaties zoals het onder één noemer brengen bij breuken, en anderzijds uit rekenregels zoals optellen en aftrekken voor het evalueren van wiskundige expressies. Een oplossing bestaat uit een aantal stappen waarin deze elementaire operaties worden uitgevoerd. Zoals gezegd is ook het type operatie en het aantal stappen niet altijd vast maar mede afhankelijk van de gegeven uitgangssituatie en berekende tussenresultaten. Tijdens het aflopen van de stappen moet er dus ook gerekend worden. Een strategietaal zoals Stratego (Visser, 1998) wordt in de informatica gebruikt om te beschrijven hoe expressies getransformeerd kunnen worden. Strategieën worden bijvoorbeeld gebruikt bij het vertalen van computerprogramma s. Een strategietaal biedt een aantal operatoren waarmee herschrijfstappen worden gecombineerd. Om het stappenplan voor een opgave flexibel te beschrijven als een volgorde van basisoperaties gebruiken we een strategietaal (Heeren et al. 2008). Nuttige operatoren in een strategietaal zijn: Sequence specificeert een volgorde van operaties of deelstrategieën. Choice geeft een keuze aan tussen twee strategieën. Repeat exhaust herhaalt een operatie/deelstrategie tot de operatie niet meer toepasbaar is. Succeed / fail zijn strategieën die altijd slagen / falen. Traversals passen een operatie of deelstrategie bijvoorbeeld top down, of bottom up toe.

3 Parallel geeft aan dat twee strategieën parallel kunnen worden uitgevoerd waarbij de afzonderlijke operaties van iedere strategie elkaar kunnen afwisselen. Labels markeren posities in strategieën, en worden gebruikt voor hints of andere feedback. De basiscombinatoren van een strategietaal corresponderen met de bouwstenen van een context vrije grammatica. De elementaire wiskundige operaties kunnen dan als het alfabet worden gezien waarmee een strategie zinnen samenstelt. Met een gegeven strategiebeschrijving kunnen we een mogelijk oplossingspad herkennen als een specifieke zin die voldoet aan de grammatica van die strategie. Met een parser kunnen we controleren of een gegeven volgorde van operaties tot de taal van de grammatica behoort. Zo volgen we de student stap voor stap en controleren we of hij nog op het goede pad is. Wijkt de student af van de toegestane paden dan kan het systeem op basis daarvan een waarschuwing geven, of een hint waarin aangegeven wordt welke stap wel correct is. Ook kan het systeem op verzoek een volledige uitwerking geven, door de strategiebeschrijving af te lopen. Als voorbeeld nemen we de optelling 1/2 + 2/3 + 5/6. Binnen het domein van expressies met breuken hebben we volgende rekenregels: 1. Optellen van twee breuken 2. Vermenigvuldigen van twee breuken 3. Schalen van teller en noemer van een breuk 4. Vereenvoudigen van een breuk Een mogelijke strategie voor het optellen van breuken is om paarsgewijs, van links naar rechts, twee breuken bij elkaar op te tellen: stap 1. Vind het kleinste gemene veelvoud (kgv) van de noemers van beide breuken stap 2. Schaal beide breuken, zodat de noemers gelijk worden aan het kgv stap 3. Tel beide breuken op stap 4. Vereenvoudig stap 5. Herhaal stap 1 t/m 4 zolang er meer dan één breuk is De eerste stap is geen herschrijfstap (het verandert de oorspronkelijke expressie niet) maar voert een berekening uit. Om de regels voor het optellen van twee breuken te combineren tot een strategie is alleen de Sequence operator nodig. Het herhalen van de strategie om alle breuken bij elkaar op te tellen wordt bereikt met een Repeat exhaust. In een alternatieve strategie worden alle drie de breuken eerst op één noemer gebracht. Om alle breuken op één noemer te brengen bepalen we eerst het kgv van alle noemers, en gebruiken we Repeat exhaust om alle breuken op één noemer te brengen. Vervolgens worden alle resultaten paarsgewijs bij elkaar geteld door weer een Repeat exhaust te gebruiken. We kunnen de keus tussen de twee strategieën vrij laten door ze te combineren met de Choice operator. Willen we de student de vrijheid laten om eerst 2/3 + 5/6 bij elkaar op te tellen en te vereenvoudigen omdat dit het eenvoudige tussenresultaat 3/2 biedt wat weer direct bij 1/2 kan worden opgeteld, dan kunnen we met behulp van de Choice operator nog een strategie toevoegen. Feedback Het genereren van feedback uit een strategiebeschrijving kan op verschillende manieren. Ten eerste kan de strategiebeschrijving gebruikt worden voor het uitleggen van de gehele procedure. De hele procedure kan automatisch worden uitgevoerd, waarbij verschillende stappen en tussenresultaten aan de student worden getoond. Ten tweede kan de strategie worden gebruikt om deel vragen te stellen. Door gebruik te maken van deelstrategieën wordt een complexe procedure opgesplitst en worden corresponderende deelvragen gegenereerd Ten derde kan het systeem aan de hand van de strategie hints genereren. Door middel van deelstrategieën kan op verschillende niveaus hints worden gegeven. Na het vragen van een algemene hint kan het systeem bij een volgende hint meer specifieke aanwijzingen geven door de eerstvolgende deelstrategie af te dalen en uitleg te geven over de concrete stappen binnen die deelstrategie. Als dat nog niet duidelijk is dan kan het systeem de eerstvolgende echte stap als hint geven, en bij herhaling de daarop volgende stappen. Binnen het project Intelligente Feedback zijn twee feedback componenten geïmplementeerd, die het domein van de lineaire algebra bestrijken. Aan de Open Universiteit Nederland is een feedback component in Haskell

4 geïmplementeerd, die als webservice beschikbaar is. Het Eindhovense MathDox systeem maakt van deze service gebruik om binnen opgaven feedback aan studenten te geven. De TUD heeft de feedback component ingebouwd in het LA systeem, een applicatie die binnen Mathematica draait. Binnen deze applicatie kunnen opgaven gemaakt worden met behulp van de feedback component. User tests Er zijn drie user tests gehouden om de werking van de feedback te testen. Een eerste test met het MathDox systeem was gericht op de vraag welke vorm van feedback het meest gewaardeerd wordt. Vergeleken zijn de opties "eindantwoord" (het systeem bepaalt of het eindantwoord goed of fout is), in stappen (het systeem stelt bij een fout antwoord de opgave opnieuw maar nu in deelvragen) en volledige uitwerking (het systeem toont eerst een volledige uitwerking, waarna de student zelf weer een soortgelijke opgave ter oplossing krijgt). De in stappen variant werd meer gewaardeerd voor moeilijke opgaven dan voor makkelijke opgaven. Voor eenvoudige opgaven was het beantwoorden van deelvragen te omslachtig, terwijl voor moeilijke opgaven de hints van de afzonderlijke deelvragen juist gewaardeerd werden, ondanks de extra moeite die gedaan moest worden om de wiskundige tussenresultaten in te voeren. De variant volledige uitwerking werd ook goed gewaardeerd, terwijl de variant eindantwoord het minst gewaardeerd werd. De informatieve waarde van deze variant wordt gering geacht. In een tweede test is een versie van MathDox met alleen feedback op het eindantwoord vergeleken met een versie van MathDox met alle feedbackopties. De twee groepen van ongeveer 15 studenten maakten een serie oefenopgaven gedurende twee sessies van 10 opgaven per sessie en deden vervolgens een post test (oefententamen met potlood en papier). Daaruit bleek dat de groep met alle feedback opties beter scoorden op de post test, met name op de wat moeilijkere opgaven. De groep met de uitgebreide feedback scoorde ook hoger zowel op een perceptie als een motivatie enquête afgenomen na afloop van de oefensessies. Een derde test was gericht op het vergelijken van het MathDox systeem met het LA systeem. De studenten (acht resp. negen) werkten drie dagdelen met het hen toegewezen systeem aan een dertigtal opgaven. Na het afronden van de opgaven werd een post test van zes opgaven afgenomen, en vulden ze een uitgebreide enquête in over de gebruiksvriendelijkheid van het systeem, over de kwaliteit van de feedback, en over de voorkeuren in leerstijlen, dwz. hoe ze de huidige onderwijsvormen waardeerden en welke rol ze voor e learning zagen. De scores van de beide groepen op de post test verschilden weinig met uitzondering van één opgave die beter werd gemaakt door de studenten van het LA systeem. Dit was achteraf geheel toe te schrijven aan de manier waarop de feedback voor die opgave gespecificeerd was in beide systemen. Het laat in ieder geval zien dat de feedback er wel toe doet. Het feit dat het LA systeem alleen procedurele vaardigheden oefent en geen rekenvaardigheden bleek voor de gebruikers van het LA systeem geen nadeel in het doen van de post test met pen en papier. Het oefenen van procedurele vaardigheden is dus voldoende voor het bereiken van het gewenste leereffect. Uit de enquête zelf kwam naar voren dat de gebruiksvriendelijkheid van beide systemen als voldoende werd beoordeeld. Het invoeren van formules in MathDox is niet altijd even handig evenmin als het selecteren van formules of onderdelen van formules in het LA systeem. Van de feedback opties waardeerde men de "volledige uitwerking" het meest. De MathDox gebruikers gaven aan dat ze de "in stappen" optie wat meer zouden hebben gebruikt als ze ook bepaalde stappen zouden mogen overslaan. Bij het LA systeem werd de informatiewaarde van de hints goed gewaardeerd maar hanteerde het systeem vaak een te strikte strategie. De studenten zijn over het algemeen zeer positief over de reguliere vorm van Lineaire Algebra onderwijs (gecombineerde college en instructie), al volgen ze niet alle instructies en hebben ze moeite om tijd vrij te maken voor het maken van huiswerk. Wel onderschrijven ze de stelling dat het zelf oefenen van opgaven essentieel is om de stof te begrijpen. E learning zou daarbij kunnen helpen. Over de geteste vorm van e learning is men positief (>4 op een schaal van 5). Veertien van de zeventien studenten gaven aan een "blended course" dwz. instructies + e learning als onderwijsvorm te prefereren. Wel vinden ze dat de systemen nog moeten worden verbeterd. Discussie Door gebruik te maken van een strategietaal en een parser kunnen we studenten volgen bij het maken van een opgave, en automatisch feedback genereren. Bij het gebruik zijn we een aantal uitdagingen tegen gekomen:

5 Een strategie veronderstelt een aantal logische, bijvoorkeur algebraïsche, stappen. Sommige opgaven, zoals een vraag om een bewijs te geven voor een bepaalde eigenschap, zijn echter veel minder makkelijk te beschrijven met behulp van een strategie. Een voorbeeld hiervan is de vraag: Let U be a subspace of vector space V, and let b be a vector in V but not in U. Is the set U + b a vector space? Ook hebben wiskunde opgaven vaak een specifiek puzzelelement dat je moet "zien" om de opgave op te lossen. Dit soort elementen vraagt om herschrijfregels die niet zo maar door docenten kunnen worden toegevoegd zonder de strategietaal goed te kennen. Het is eenvoudig om strategieën te schrijven die een grote mate van variabiliteit toe laten. Zelfs kan men besluiten om een student niet meteen terug te fluiten op het moment dat hij een operatie doet die niet de strategie volgt, maar ook niet incorrect is (hij zou altijd met een omweg nog op het goede antwoord kunnen komen). We willen daarna herkennen of een student weer terug op het goede pad komt. Hoe kunnen we dit controleren? Bij problemen waarvoor de strategieën grote variabiliteit toelaten, kan de zoekruimte heel groot worden. Dat kan het soms lastig maken om snel goede feedback te genereren. In de praktijk zal men dan een compromis moeten zoeken tussen wat technisch haalbaar is, en wat onderwijskundig wenselijk is. Conclusies We hebben een strategietaal gepresenteerd voor het beschrijven van oplossingsmethoden voor wiskunde opgaven. De strategie en parser zijn geïmplementeerd in de functionele taal Haskell, en in Mathematica. We hebben laten zien hoe automatisch feedback gegenereerd kan worden op basis van een strategiebeschrijving. Initiële user tests laten zien dat de technieken goed werken en effectief kunnen bijdragen aan het verbeteren van het rendement van het oefenen van wiskunde opgaven. Een groot deel van de basisstof van het vak Lineaire Algebra is inmiddels ingebracht. De komende periode zal verder gewerkt worden aan het inbrengen van de rest van de stof. De ontwikkelde systemen en oefenbanken zullen beschikbaar worden gesteld via de binnen het NKBW project ontwikkelde repository6. Ook zullen aanvullende experimenten gedaan worden voor gebruik van de systemen bij tentamenvoorbereiding en voor de aansluiting HBO WO. Wil e learning succesvol zijn dan dienen systemen zeer betrouwbaar en gebruiksvriendelijk te zijn. In dit project zijn twee user interface stijlen met elkaar vergeleken. Bij de vrije invoer van het MathDox systeem werkt de student zelf de opgave uit en toetst het systeem alleen het (deel)antwoord. Dit sluit goed aan bij de traditionele oefenpraktijk, maar is kwetsbaar voor interpretatiefouten van het systeem want het kan nog geen onderscheid maken tussen een principe fout en een rekenfout. De select and click interface van het LA systeem heeft minder problemen met een foutieve interpretatie maar lokt uit dat de student maar wat gaat proberen. Uit de laatste user test blijkt overigens dat qua leereffectiviteit beide benaderingen elkaar niet veel ontlopen. Ondanks deze tekortkomingen kunnen we uit de reacties van de studenten en de evaluaties van de tests de conclusie trekken, dat beide systemen een nieuwe en waardevolle bijdrage kunnen leveren aan nieuwe vormen van interactief onderwijs, en waarschijnlijk niet alleen binnen het domein van de lineaire algebra.

6 Box 1. MathDox systeem7 MathDox is een collectie software tools voor interactieve wiskunde over het web, die de gebruiker toegang verschaft tot allerlei (wiskundige) webservices, met name Computer Algebra Systemen (CAS). De MathDox sofware omvat een XML format voor documenten en een MathDox player die deze documenten omzet in webpagina's. Een MathDox document kan gezien worden als een automaat, waarbij de verschillende states als webpagina's aan de gebruiker worden gepresenteerd, en de transities tussen de verschillende states bepaald worden door interacties van de gebruikers en resultaten verkregen van de verschillende webservices. Gebruikmakend van deze functionaliteiten van MathDox zijn lineaire algebra opgaven geimplementeerd. Deze opgaven zijn als volgt opgebouwd. In elk onderdeel van een opgave krijgt de student een (mogelijk gerandomizeerde) vraag voorgeschoteld. De student kan een antwoord invoeren en dit antwoord controleren. Afhankelijk van de feedback van de service wordt de student verder geleid naar een relevant ander deel van de opgave. Tevens wordt de student de mogelijkheid geboden, de uitwerking van het onderdeel te bekijken, of de opgave of een onderdeel ervan in kleinere stappen uit te werken. We bespreken het voorbeeld van het oplossen van een stelsel lineaire vergelijkingen in drie onbekenden x,y en z. FIGUUR 1 Presentatie van de opgave Bij het openen van de opgave wordt het stelsel aan de student gepresenteerd en naar de oplossingen van het stelsel gevraagd. De student kan het eindantwoord invullen en laten controleren. Hij kiest er echter voor deze opgave in stappen te doen. De opgave biedt hem drie deelstappen aan. 1. Stel de uitgebreide matrix horende bij het stelsel op. 2. Veeg de matrix naar gereduceerde normaalvorm. 3. Lees de oplossingen af uit de normaalvorm.

7 FIGUUR 2 De opgave in deelstappen In elk van de stappen krijgt de gebruiker feedback. Zo kan de gebruiker het vegen in meerdere stappen doen. De feedback kan dan zijn veeg nu onder de diagonaal zoveel mogelijk naar 0 of zorg dat de entries op de diagonaal 0 of 1 zijn.

8 FIGUUR 3 Feedback tijdens het vegen Na het vegen, leest de student de goede oplossing af uit de gereduceerde vorm van de matrix. Hij heeft de opgave voltooid.

9 FIGUUR 4 Bepalen van het eindantwoord De opgaven zijn beschikbaar via de wiskunde webomgeving wortel.tue.nl.

10 Box 2. Het LA systeem8 Het LA systeem (Lineaire Algebra e learning systeem) is geïmplementeerd in Mathematica. De tool lijkt qua interface op MathXpert9 en qua werking op DirectMath10. Het repertoire van bewerkingsoperaties is gebaseerd op een "rule set", een verzameling herschrijfregels die in Mathematica zijn geïmplementeerd en die door het systeem kunnen worden uitgevoerd. De rule set is domein specifiek, dwz. voor de verschillende vormen van wiskunde bestaan er specifieke herschrijfoperaties. Op basis van een gegeven rule set kan echter een groot repertoire van opgaven worden opgebouwd. De student krijgt na het opstarten van het systeem twee windows te zien: het werk window waar de opgave en achtereenvolgende stappen getoond worden, en het regel window waar hij regels kan selecteren om de vergelijkingen in het werk window te manipuleren (Fig. 5). FIGUUR 5. Het werk window met de vergelijkingen (links) en het regel window met de toepasbare regels (rechts). Er is nog geen toepasbare regel zichtbaar omdat de student nog niets geselecteerd heeft. Manipuleren van vergelijkingen gaat in twee stappen: eerst selecteert de student dat deel van de vergelijking die hij wil manipuleren. Dan biedt het systeem een aantal bewerkingsopties en de student selecteert de regel die hij wil toepassen. De student kan nu bijvoorbeeld de hele set van vergelijkingen selecteren. Dan belandt hij in de situatie van Fig. 6.

11 FIGUUR 6. Na selectie van een deel van de vergelijking verschijnen in het regel window de toepasbare regels. Door nu één van de regels, bijvoorbeeld de regel "Convert set of equations to augmented matrix" te selecteren wordt de vergelijking omgezet in een equivalente alternatieve vergelijking. De naam van de toegepaste regel en de resulterende vergelijking verschijnen in het werk window en de eerste stap richting de oplossing is gemaakt (Fig. 7).

12 FIGUUR 7. Na selecteren van een manipulatieregel verschijnt een nieuwe, equivalente vergelijking die weer verder gemanipuleerd kan worden. Na een aantal van dit soort stappen wordt een oplossing bereikt. Fig. 8 laat een voorbeeld zien.

13 FIGUUR 8. Complete voorbeeld uitwerking van de rest van de benodigde stappen tot de oplossing. Er zijn meerdere wegen mogelijk die leiden tot de oplossing, zowel qua volgorde van de stappen als qua strategie (bijvoorbeeld, door niet via een augmented matrix te werken). Juist de analyse van de gebruikte oplossingsmethode is belangrijk om de student verder te helpen, en dit systeem biedt de basis om de gebruikte strategie te kunnen achterhalen en becommentariëren.

14 Box 3. Exercise Assistant11 FIGUUR 9 Uitwerking van een logica opgave met behulp van de exercise assistant De bovenstaande exercise assistant ondersteunt studenten met het oplossen van opgaven waarin ze logische expressies moeten herschrijven naar disjunctieve normaalvorm. Deze webapplicatie maakt gebruik van dezelfde feedback services als ontwikkeld voor de lineaire algebra opgaven in het MathDox systeem. De applicatie geeft studenten de mogelijkheid om expressies vrij te editen, en geeft feedback op strategie niveau. Verder kan de applicatie hints geven, en stappen voor de student uitvoeren. Ook laat de applicatie zien hoeveel stappen er nog minimaal moeten worden uitgevoerd (volgens de strategie).

15 Referenties Baki, A., & Güveli, E. (2008). Evaluation of a web based mathematics teaching material on the subject of functions. Computers and Education, 51, Bastiaan Heeren, Johan Jeuring, Arthur van Leeuwen, and Alex Gerdes. Specifying strategies for exercises. In S. Autexier et al., editor, MKM 2008: Mathematical Knowledge management, volume 5144 of LNAI, pages Springer Verlag, Mory, E. H. (2003). Feedback research revisited. In D. H. Jonassen (Ed.), Handbook of research on educational communications and technology (pp ). Mahwah, NJ: Erlbaum. Eelco Visser, Zine el Abidine Benaissa, and Andrew Tolmach. Building program optimizers with rewriting strategies. In ICFP 1998: International Conference on Functional Programming, pages 13 26, Auteursgegevens Technische Universiteit Delft: prof.dr.ir. Erik Jansen, dr. Rick van der Meiden, dr. W. Pasman contact: F.W.Jansen@tudelft.nl Technische Universiteit Eindhoven: dr. Hans Cuypers, ir. Jan Willem Knopper, contact: hansc@win.tue.nl Open Universiteit Nederland: dr. Gemma Corbalan, dr. Bastiaan van Heeren, prof.dr. Johan Jeuring, drs. Josje Lodder, contact: johanj@cs.uu.nl

16 1 SURF innovatieproject "Intelligente feedback". Dit project is tot stand gekomen met steun van SURFfoundation, de organisatie die ICT vernieuwingen in het hoger onderwijs en onderzoek initieert, regisseert en stimuleert door onder meer het financieren van projecten. Meer informatie over SURF is te vinden op de website ( 2 Nederlandse Kennis Bank Wiskunde graphics.tudelft.nl/la system 9 Beeson, M. (1999). MathXpert: Learning Mathematics in the 21st Century. ste/english ste.html ideas.cs.uu.nl