Eindrapportage Pinpoint

Transcriptie

1 Eindrapportage Pinpoint Penvoerende instelling: Universiteit Twente Partner instellingen: ThiemeMeulenhoff Datum: 3 oktober 2012 Auteur: Hannie Gijlers en Anjo Anjewierden 1

2 Inhoud 1. Korte samenvatting Doelstelling en aanpak Kostenoverzicht Resultaten Conclusies en geleerde lessen Continuering Overige opmerkingen

3 1. Korte samenvatting Studenten besteden een steeds groter deel van hun tijd aan toepassingen op tablets en laptops. Een aantal van die toepassingen dragen bij aan het onderwijs. Toegang tot ondersteunende systemen zoals BlackBoard bijvoorbeeld, of contacten met medestudenten via Facebook, Twitter en andere sociale media. Een nieuwe ontwikkeling, waarmee uitgevers nu pilots uitvoeren, is het digitaal beschikbaar stellen van lesmateriaal. Studieboeken worden langzamerhand vervangen door digitale boeken en het potlood en de markeerstift maken plaats voor speciale applicaties waarmee studenten aantekeningen kunnen maken die direct worden gekoppeld aan het digitale lesmateriaal. Een systeem waarin lesmateriaal en interactiviteit is geïntegreerd is Schooltas van uitgeverij ThiemeMeulenhoff. Studenten kunnen op hun ipad studieboeken lezen en aantekeningen maken ( prikkers plaatsen). Als de prikkers publiek zijn kunnen andere studenten of docenten hierop reageren. Om inzicht te krijgen in de manier waarop leerlingen gebruik maken van deze prikkers is er in het Pinpoint project een browser ontwikkeld. De browser maakt gericht zoeken in de prikker database mogelijk. Zo kan er bijvoorbeeld op trefwoorden worden gezocht. Met behulp van de browser kan ook het prikgedrag van de leerlingen in beeld worden gebracht. Het is bijvoorbeeld mogelijk te analyseren hoe vaak en waarvoor de prikkers gebruikt worden. De eerste resultaten van het Pinpoint project laten zien dat het mogelijk is om via de Pinpoint browser informatie over het prikkergebruik van leerlingen te visualiseren op een manier die waardevol is voor methode-ontwikkelaars en docenten. 2. Doelstelling en aanpak Opzet en doelstelling In dit voorstel analyseren we hoe studenten omgaan met interactief digitaal studiemateriaal en hoe deze analyse van het gebruik kan worden vertaald naar feedback aan studenten, docenten en uitgevers. Probleemstelling Verschillende uitgevers van studieboeken, onder andere Pearson, McGraw-Hill, Malmberg en ThiemeMeulenhoff, maken deze digitaal waardoor ze kunnen worden gebruikt op tablets. Deze digitale studieboeken bieden mogelijkheden tot student activiteiten en samenwerking. Studenten kunnen bijvoorbeeld aantekeningen maken en die met andere studenten delen. We verwachten dat er steeds meer studiemateriaal digitaal beschikbaar komt, en dat het daarom relevant is om te analyseren hoe studenten hiermee omgaan. Met dit voorstel spelen we in op deze trend en wordt een concrete toepassing (studieboeken door ThiemeMeulenhoff geschikt gemaakt voor de ipad met de mogelijkheid voor studenten om bij de tekst aantekeningen te maken) gebruikt om te exploreren hoe learning analytics toegepast op de student aantekeningen kan bijdragen aan de verbetering van het onderwijs. Voor docenten kan een analyse waardevolle informatie opleveren, met name wanneer de resultaten worden samengevat middels visualisatie. Wanneer meerdere studenten bij een bepaalde sectie de opmerking plaatsen dit snap ik niet'' is het voor de docent wellicht de moeite waard om aan de desbetreffende sectie extra aandacht te besteden. Ten slotte, kan de analyse informatie opleveren voor de ontwikkelaars van het lesmateriaal, bijvoorbeeld om fouten op te sporen of secties die studenten onduidelijk vinden te verbeteren. Methode Tekst-analyse en visualisatie technieken waren cruciaal in het Pinpoint project. Door middel van tekst-analyse werden de aantekeningen inhoudelijk beoordeeld. Visualisatie technieken maken het mogelijk relaties in zowel de tekst als de activiteit van studenten zichtbaar te maken. Het geven van inzicht in de manier waarop leerlingen met interactief lesmateriaal omgaan staat centraal in dit project. Het is dus belangrijk dat de visualisaties voor de belangstellenden een goede indruk geven van de activiteiten van de leerlingen. Projectperiode In de periode maart 2012 tot en met september 2012 is het Pinpoint project uitgevoerd. Hieronder een kort overzicht van de verdeling van de activiteiten over deze periode. 3

4 maart juni: juli - augustus: september: WP 1 (Analyse), data verzameling, ontwikkeling browser WP 2 (Evaluatie) WP 3 (Disseminatie) Project organisatie Het project is uitgevoerd door de vakgroep IST (instructie technologie), onderdeel van de faculteit gedragswetenschappen van de Universiteit Twente. De vakgroep IST richt zich op het onderzoeken van leren met computer gebaseerde leeromgevingen voor specifieke domeinen, bijvoorbeeld het modelleren of simuleren van een natuurkundig domein (onderzoekend leren), zowel voor individuele studenten als groepjes (samenwerkend leren). Bij het analyseren van het gedrag van studenten en het geven van feedback spelen learning analytics en educational data mining een belangrijke rol. ThiemeMeulenhoff heeft Schooltas ontwikkeld om scholieren kennis te laten maken met interactief lesmateriaal. De uitgever is ondermeer geïnteresseerd in hoe studenten omgaan met de nieuwe mogelijkheden. De ruwe data voor dit project is beschikbaar gesteld door ThiemeMeulenhoff. 3. Kostenoverzicht Materiële kosten Begroting zoals in projectvoorstel Gerealiseerde projectkosten In rapportage Restant begroting (A) periode (B) (A)-(B) wp , wp wp wp4 Totaal materiële kosten Personele kosten wp wp wp wp4 projectmanagement Totaal personele kosten Overige kosten Onvoorzien Reiskosten , Totaal overige kosten Totaal projectkosten Resultaten In deze sectie geven we een beschrijving van de functionaliteit van de Pinpoint browser en illustreren dit met een aantal screendumps die tevens een indruk geven van het gebruik van Schooltas door de leerling. Daarna volgt een evaluatie van het gebruik van Schooltas op basis van een analyse middels Pinpoint. 4

5 Functionaliteit Pinpoint browser Met behulp van Pinpoint kan de gebruiker, bijvoorbeeld een docent of ontwikkelaar van lesmateriaal, op een interactieve manier door de database met prikkers browsen. Per prikker is de volgende informatie beschikbaar. Leerling (anoniem), tekstuele inhoud, boek, locatie in een boek (pagina, en coordinaten), tijd waarop de prikker is gemaakt en het laatste veranderd, of de prikker een kopie is van een andere prikker (met terugverwijzing), het aantal likes en of de prikker wordt gedeeld met. Op basis hiervan zijn de lemma (woord), boek en student de belangrijkste ingangspunten om in de prikker database te zoeken. Via een lemma kan worden gezocht op tekstuele inhoud, via een boek kan een docent of uitgever de prikkers in bepaalde boeken of bladzijden bekijken en via de student ingang kan een docent de prikkers van een specifieke student inzien. Lemma. Een lemma is de hoofdterm van een woord. Met behulp van een lexicale database (CELEX) wordt van alle woorden die in prikkers voorkomen bepaald tot welk lemma ze behoren (lemma is snappen, woorden zijn snap, gesnapt, snapte, enz.). Veel voorkomende, en met redelijke zekerheid te corrigeren spelfouten worden ook aan een lemma toegevoegd. In de onderstaande screendump heeft de gebruiker gezocht op vulk. Pinpoint laat dan alle lemma s zien die deze string bevatten en geeft in tabelvorm aanvullende (statistische) informatie, zoals het aantal prikkers dat dit lemma bevat, share en like frequenties. De waarden onder de kopjes Page, Book, Topic, Student bevatten de entropy en geven een indicatie in hoeverre een lemma voorspellend is voor de pagina, boek, onderwerp of student. Een lage entropie duidt op een hoge voorspelbaarheid. In de prikker database komt vulkaan (topic entropie is 0.0) bijvoorbeeld altijd voor in boeken over aardrijkskunde. 5

6 Boek. De basisrepresentatie van een lesboek in de Pinpoint browser staat in onderstaande screendump. Een rechthoek staat voor een pagina en iedere cirkel is een prikker. Door op een rechthoek (pagina) te klikken krijgt de gebruiker een overzicht van de prikkers op die pagina. Student. De basisinformatie over een leerling staat in onderstaande screendump. De changed kolom geeft aan hoe veel prikkers een leerling heeft veranderd, dit kan worden gezien als afgeleide van follow-up activiteit na het aanmaken van een prikker. De laatste kolom geeft het gemiddelde aantal tekens per prikker voor een leerling. Door middel van cluster analyse zijn vier verschillende profielen van gebruik bepaald afhankelijk van de lengte van de prikkers. De kolom Cat. geeft de classificatie aan: alleen maar korte prikkers, voornamelijk korte prikkers, varieteit in lengte en voornamelijk lange prikkers. Omdat we geen informatie hebben over de leerlingen zelf, of de wijze van instructie, is het lastig om hier conclusies aan te verbinden. 6

7 Onderstaande screendump geeft een aantal prikkers van een bepaalde leerling. Evaluatie en analyse Voor de analyse van wat leerlingen met Schooltas doen kunnen we de functionaliteit zoals boven beschreven gebruiken om een eerste indruk te krijgen. Wat opvalt is dat leerlingen Schooltas redelijk serieus lijken te gebruiken, het aantal niet inhoudelijke prikkers is laag. Dit is in tegenstelling tot de eerste versie van Schooltas waar de tekst in een prikker slechts een regel mocht zijn, hetgeen het onmogelijk maakte om (langere) samenvattingen in een prikker te zetten. Toch is er een sociale component in het gebruik van Schooltas. Van de prikkers worden er gedeeld. Van de gedeelde prikkers werden er 603 gekopieerd, waarvan sommige door meerdere leerlingen (totaal 1.776). Van de gedeelde prikkers werden 790 geliked. De gemiddelde lengte van een prikker is 58 tekens, de mediaan ligt veel lager: 9 tekens. In bovenstaande grafiek staat het aantal prikkers dat per week is gemaakt (maart juni 2012), aan de rechterkant staan de vakken waarop de lesboeken betrekking hebben. De weken waarin er weinig prikkers zijn gemaakt vallen in vakantieperiodes. Schooltas wordt dus vooral op school gebruikt. 7

8 Een van de onderzoeksvragen was of er uitspraken zouden kunnen worden gedaan over het inhoudelijk gebruik. Deze vraag blijkt moeilijk te beantwoorden middels automatische analyse. In de eerste plaats is de database zeer heterogeen. Schooltas wordt gebruikt door leerlingen van varierende leeftijd en niveau, zonder dat we per leerling de leeftijd of het niveau kennen. Sommige lesboeken worden zowel gebruikt door VMBO leerlingen in de hoge klassen als VWO leerlingen in de lage klassen. Wanneer we alleen kijken naar de lengte van de prikkers dan zijn er duidelijke leerlingprofielen: alleen korte of alleen lange prikkers, en twee profielen die meestal korte of een mix in lengte hebben. Korte prikkers duiden in het algemeen op het geven van antwoorden op vragen in de lesboeken, en lange prikkers zijn meestal samenvattingen. Of de profielen iets met de leerling zelf te maken hebben of met de stof die ze doorlopen is automatisch niet vast te stellen. Het zou zelfs zo kunnen zijn dat, een gedeelte van, de langere prikkers door docenten zijn gemaakt. Voor een "informele" analyse van het gebruik van Schooltas hebben we een aantal maten gedefinieerd op basis van eigenschappen van de prikkers en het totale gedrag van leerlingen. De maten zijn bijvoorbeeld de gemiddelde lengte van een prikker (in tekens) en het totale aantal prikkers (per leerling). De correlatie, op basis van de data van 379 regelmatige gebruikers van Schooltas, is licht negatief (R = -0.25). Het aantal prikkers per leerling neemt dus af naarmate de lengte van de prikkers toeneemt. De relatie tussen de lengte van een prikker en het importeren (kopieren van een prikker van een ander naar je eigen Schooltas) is sterker (R = 0.57). Langere, en waarschijnlijk meer inhoudelijke prikkers worden dus eerder gekopieerd dan korte prikkers. Andere licht positieve correlaties zijn bijvoorbeeld lengte vs. likes (R = 0.43) en lengte vs. shared (R = 0.14). Een andere vraag is of het mogelijk is de prikkers inhoudelijk te classificeren. Uit handmatige inspectie blijkt dat de inhoud van de prikkers een samenvatting, een antwoord op een opgave, of niet inhoudelijk is. Met behulp van de entropie toegepast op een vak kunnen we vaststellen welke woorden inhoudelijk zijn (zoals vulkaan of cousin). Hiermee en door naar de lengte van de prikker te kijken is het redelijk goed mogelijk om een onderscheid te maken tussen inhoudelijke samenvattingen en antwoorden. Er zijn echter ook zeer veel prikkers waarvan de tekst erg kort is, en waarvan zonder meer te weten over de lesstof, niet is vast te stellen of de prikker inhoudelijk is of niet. Een voorbeeld zijn prikkers die slechts B, G, F bevatten. Soms zullen dit frivoliteiten zijn, maar de B G F prikkers zijn wel degelijk inhoudelijk in het muziekonderwijs. Om toch meer gedetailleerd over het gebruik van Schooltas te kunnen zeggen is het noodzakelijk een selectie van de database te maken. Door te kijken welke leerlingen op hetzelfde moment in hetzelfde boek prikkers aanmaken blijkt het mogelijk klassen te identificeren. In de huidige database hebben we twee zulke klassen gevonden. Op basis van de gebruikte lesboeken gaat het hier om een VMBO en een Havo/VWO klas. De analyse van deze twee klassen kan meer inzicht opleveren over het gedetailleerde gebruik, zowel inhoudelijk als over het share gedrag van leerlingen. 5. Conclusies en geleerde lessen De Pinpoint browser is ontwikkeld in samenwerking met ThiemeMeulenhoff. De eerste reacties van Thieme waren enthousiast. Door middel van de Pinpoint browser kon duidelijk in kaart worden gebracht hoe leerlingen reageerden op nieuwe features en veranderingen in de schooltas applicatie. Tijdens het Pinpoint project werd duidelijk dat automatische analyse van de prikkers lastig is. Er is een uitgebreide prikker database waarin de prikkers van verschillende methoden zijn opgenomen. Prikkers kunnen dus betrekking hebben op verschillende schoolvakken (denk bijvoorbeeld aan het verschil tussen de talen, exacte vakken en de zaakvakken) en afkomstig zijn uit van leerlingen uit verschillende onderwijsniveaus. Op dit moment zijn de lesmaterialen zelf niet gemakkelijk te doorzoeken op semantische inhoud. Hierdoor is het lastig om bijvoorbeeld de relevantie van een prikker te beoordelen. Voor toekomstige analyses is het aan te raden een duidelijke koppeling tussen de geplaatste prikkers en het lesmateriaal waar de prikker betrekking op heeft te maken. Op deze manier kunnen de prikkers beter geanalyseerd worden. Bijvoorbeeld zeer veel prikkers bij aardrijkskunde lijken betrekking te hebben op een afbeelding die in het lesboek staat en waarbij de leerlingen moeten beschrijven wat ze op de afbeelding zien. Om met behulp van learning analytics vragen te kunnen beantwoorden over kenmerkend leerlinggedrag is het belangrijk dat de database op een goede manier gestructureerd is. 8

9 Het moet voor iedere prikker niet alleen duidelijk zijn op welke passage uit een bepaalde methode de prikker betrekking heeft, maar bijvoorbeeld ook wat het niveau en het leerjaar is van de leerling die de prikker heeft geplaatst. Als deze informatie niet aanwezig is, is het bijvoorbeeld onmogelijk na te gaan of het prikkergebruik van VMBO leerlingen verschilt van het prikkergebruik van VWO leerlingen. Doordat docenten een beter overzicht hebben van de instructies die zij leerlingen hebben gegeven en het verwachte leerlinggedrag zijn zij beter instaat de gegevens van hun eigen klassen uit de Pinpoint browser te analyseren dan de gemiddelde buitenstaander. Het is voor ons als onderzoeker niet altijd duidelijk wat de context is waarin de leerling werkt. Docenten kunnen in hun lessen accenten leggen, die van invloed zijn op het prikkergebruik van de leerlingen. Zo kunnen docenten de nadruk leggen op bepaalde oefeningen en tekstpassages, terwijl zij leerlingen adviseren andere oefeningen over te slaan. Dit zal weerspiegeld worden in de prikkers. Voor ons als onderzoekers is het moeilijk deze data te duiden zonder verdere achtergrond informatie. 6. Continuering Voor belangstellenden is toegang tot de Pinpoint browser beschikbaar. De data is weliswaar anoniem, maar leerlingen kunnen in prikkers teksten zetten die mogelijk privacy gevoelig zijn, waardoor het niet wenselijk is de Pinpoint browser op dit moment openbaar te maken. Neem voor verdere informatie contact op met Anjo Anjewierden Learning analytics en het ontwikkelen van adaptief lesmateriaal is een belangrijk aandachtspunt van de vakgroep IST. Een interessante (toekomstige) ontwikkeling, gerelateerd aan het Pinpoint project, is een verdere integratie van het lesmateriaal en interactiviteit en adaptiviteit. In de huidige situatie is het bijvoorbeeld het geval dat leerlingen opgaven die in een wiskundeboek staan in Schooltas oplossen. De relatie tussen de opgave en de oplossing gaat dan, gedeeltelijk verloren. In het kader van een Kennisnetproject werken we aan een ipad applicatie voor goniometrie waarbij leerlingen direct interacteren met het lesmateriaal en feedback krijgen over de antwoorden die ze geven. Een artikel over Pinpoint voor de Learning Analytics and Knowledge conferentie (LAK 2013, Leuven) is in voorbereiding. In dit artikel zullen we ook de resultaten van de analyse van de klassen (zie einde van Sectie 4) opnemen. Geen. 7. Overige opmerkingen 9