Learning analytics zijn in de context van deze workshop gedefinieerd als het dashboard van Snappet en data uit Parnassys / ESIS.

Transcriptie

1 Verslag workshop Wisselwerking pedagogisch inzicht van de leerkracht (intuitief handelen) en de rationele informatie uit learning analytics, 20 april 2016 Versnellingsvraag Stichting Klasse Aanwezig: Stichting Klasse: Daniel Vermij, Bart Tuerlings, Elize Meijer, Frank Tigges Lucas Onderwijs: Anneke Peters, Priscilla Noordermeer, Helma Snoeck, Marjolein Schimmel, Paul Veringa Inge Molenaar (Radboud Universiteit), Liset Onnink (Radboud Universiteit), Ronald Slomp (OCW), Marius van Zandwijk (Kennisnet). Versnellingsvraag Stichting Klasse Hoe kunnen we met learning analytics de IB-ers en de leerkrachten beter faciliteren om tot de juiste interventies in het leerproces te komen, zodat de leerwinst kan worden vergroot? Dat is de versnellingsvraag waarmee Stichting Klasse actief is. Meer informatie over versnellingsvragen en de specifieke vraag van Stichting Klasse is te vinden op Lucas Onderwijs werkt aan een vergelijkbare vraag vanuit een gelijke beleidsvisie. Daarom hebben Stichting Klasse en Lucas Onderwijs afgesproken gezamenlijk enkele verkenningen uit te voeren en kennis te delen. De workshop van 20 april komt hieruit voort. Vraagstelling Het doel van de workshop is het verkennen van professionele opvattingen en dilemma s van leerkrachten omtrent het gebruik van learning analytics in de dagelijkse lespraktijk. Hoe vindt de wisselwerking tussen pedagogisch inzicht van de leerkracht (intuitief handelen) en de rationele informatie in learning analytics plaats? Hoe kan een goede balans ontstaan tussen pedagogisch inzicht en de rationele benadering van learning analytics? Learning analytics zijn in de context van deze workshop gedefinieerd als het dashboard van Snappet en data uit Parnassys / ESIS. Pedagogisch inzicht? De professionaliteit van leraren heeft verschillende dimensies (Klaassen, 1994): De vakinhoudelijke professionaliteit. Deze heeft betrekking op de vakbekwaamheid van de leraar qua leerstof. De didactische professionaliteit. Deze heeft betrekking op het voorbereiden, uitvoeren en evalueren van onderwijs-leerprocessen. De pedagogische professionaliteit. In deze dimensie staat de brede vormingstaak van het onderwijs in de zin van persoonsvorming en gemeenschapsvorming centraal. De organisatorische professionaliteit. Deze dimensie bevat de opvattingen op het niveau van het functioneren in en van de school als organisatie. De reflexieve professionaliteit. Deze dimensie heeft betrekking op de geneigdheid en bereidheid om de eerder genoemde aspecten in hun onderlinge samenhang te doordenken.

2 Het proces van professioneel handelen is beschreven door Roelofs en Sanders (2003) en is schematisch als volgt. Onder pedagogisch inzicht verstaan we het professioneel handelen van de leraar op de genoemde dimensies van zijn werk. Learning analytics: focus op dashboard Learning analytics kan worden gedefinieerd als het verzamelen, analyseren en rapporteren van data over leerlingen (Geller en Drachsler, 2012). Binnen learning anlytics zijn twee stromen zichtbaar: Embedded analytics, data wordt via een algoritme (model) verwerkt en vervolgens ingezet voor directe feedback aan de leerling, bijvoorbeeld voor het toewijzen van leermateriaal aan een leerling. Extracted analytics, data wordt via een dashboard beschikbaar gesteld aan leraar of leerling die vervolgens de data gebruikt in zijn handelen. In het basisonderwijs zal dit vooral aan de leraar zijn. In de workshop richten we ons op extracted analytics: de inzet van onderwijstechnologie als instrument voor de leraar. In wetenschappelijke termen heet dit een gedistribueerd cognitief systeem (Hutchens, 2000). Wat is bekend over het gebruik van dashboards? Er is vooral onderzoek uitgevoerd naar het gebruik van dashboards in het onderwijs, er is weinig bekend over de effecten van dashboards. Dashboards bieden vooral informatie over (Verbert, 2014): Inzicht in product van de leerlingen Gebruik van leermiddelen Tijdsinvestering

3 Gegevens over presentaties: testen Mate van oefenen Voor het gebruik van een dashboard door een professional is het volgende proces bekend. Uit onderzoek blijkt dat leraren vooral ondersteuning vanuit een dashboard ervaren bij het verwerven van inzichten over een leerling en bij het maken van een diagnose. Het geeft de leraar de mogelijkheid om van reactief naar proactief didactisch handelen te gaan(tomlinson, 2003). Leraren worden zich ook steeds bewuster van hun gebruik van dashboards. Dashboarding geeft de leraar de mogelijkheid meer sturing te geven aan leerlingen. Leraren ervaren ook meer ruimte, omdat zij weten waar leerlingen mee bezig zijn. Ook kan de lestijd invulling veranderen doordat er minder nakijk werk is. Leraren staan meer stil bij wat effectieve leertijd is. De relatie tussen Snappetdasboards en LVS enerzijds en didactisch handelen, pedagogisch inzicht anderszijds In de workshop is in 2 sub-groepen het gebruik van de de snappetdashboard en LVS verkend. Wanneer gebruikt men het dashboard, met welke vragen raadpleegt men de informatie en welke interventies neemt men vervolgens? Het Snappet-lesrapport wordt voor, tijdens en na de les gebruikt. De leraar gebruikt het rapport voor vragen, zoals: Wat viel op bij de vorige les, wie heeft de les af, hoeveel fouten worden gemaakt, wat is het tempo van werken, welke leerlingen blijven achter, welke opdracht heeft extra uitleg nodig En ook welke: wat zijn mijn hoofddoelen voor de les en welke lessen / opdrachten doe ik wel / niet. Het lesrapport wordt verschillend gebruikt door Stichting Klasse en Lucas Onderwijs: Lucas Onderwijs werkt met compacten, Stichting Klasse niet. Interventies die op basis van het lesrapport worden gedaan zijn bijvoorbeeld: selecteren van opdrachten/ stof aanpassen / werkpakketten klaar zetten, bepalen welke leerlingen extra instructie krijgen, klassikaal instructie geven. Het Snappet-klasserapport wordt voor en na de les gebruikt. Diverse leraren geven aan dit rapport minder vaak te gebruiken dan het lesrapport en het voortgangsrapport. Vragen waarvoor het rapport wordt geraadpleegd zijn bijvoorbeeld: hoe is het beheersingsniveau, hoe is de verdeling in de klas,

4 hoe maakt mijn klas het lesdoel, welke doelen vinden leerlingen nog lastig?. Enkele leraren benoemen dat zij het rapport onoverzichtelijk vinden. Interventies die op basis van het klasserapport worden gedaan zijn bijvoorbeeld: geven van gerichte instructie op maat, maken van indeling naar niveau groepen, monitoren van individuele leerlingen, aanbieden van alternatieve programma s. Het Snappet-voortgangsrapport wordt vooral gebruikt tijdens de zelfstandige verwerking van leerstof door leerlingen en adaptief werken. Het verschilt tussen leraren wanneer naar het rapport wordt gekeken: sommigen kijken vooral na de les in het rapport, anderen ook tijdens. Vragen waarvoor men het rapport bekijkt zijn: wie doet wat, hoeveel opdrachten hebben de leerlingen gemaakt, hoe is de voortgang, wat is de voortgang, wat is de oorzaak van het tempo. En ook welke leerlingen komen in aanmerking voor verlengde instructie, is hulp nodig?. Op basis van het voortgangsrapport vinden bijvoorbeeld de volgende interventies plaats: gesprek met leerling over tempo en voortgang, belonen bij goede voortgang, extra instructie geven voor degenen die het nodig heeft, aanpassen lesstof. Het LVS wordt aanzienlijk minder gebruikt dan de Snappet-rapporten. De leraren geven aan ongeveer 2 maal per jaar het LVS te gebruiken met name voor CITO-scores en vaardigheidsgroei voor de groepsplannen, IB-ers doen dit veel frequenter. Vragen die dan aan de orde zijn, zijn: welke groepsindelingen zijn te maken, welke doelen ga ik stellen, hoe scoren leerlingen en wat blijft hangen, welke doelen moeten nog extra worden geoefend. Daarnaast zijn er ook vragen op het vlak van sociaal-emotionele ontwikkeling. Een voorbeeldinterventie die plaatsvindt op basis is het opzetten van het groepsplan. Vervolgens is vanuit de Radboud Universiteit een korte terugkoppeling gegeven uit hun klasseobservaties over het gebruik van Snappet bij Stichting Klasse. De analyse van de resultaten is nog niet volledig afgerond. Daarom zijn in dit verslag de voorlopige resultaten niet opgenomen. Balans tussen pedagogisch inzicht en learning analytics In hoeverre bevestigen en verrijken pedagogisch inzicht en learning analytics elkaar, in hoeverre zorgen ze voor dilemma s of geven zij verwarring? In 2 sub-groepen is gesproken over de balans tussen pedagogisch inzicht en learning analytics. Learning analytics is een middel dat de leraar kan versterken in zijn kritische vermogen. Het kan de leraar helpen stil te staan bij zijn eigen verwachtingen. Gegevens helpen je te verwonderen. Een leerling blijkt bijvoorbeeld onverwacht goed te zijn. Tegelijkertijd geven leraren aan dat het pedagogisch inzicht het hele verhaal vertelt en dus het vertrekpunt is voor het sturen. Analytics geven een moment opname en kunnen een vertekening hebben. Zo kan een leerling de doelen beheersen en toch de bloktoets minder goed maken. Snappet is oefensoftware gericht op de verwerking van de stof. De data uit Snappet dient in relatie hiermee flexibel te worden gehanteerd. De aard van de data is anders dan toetsdata van Cito. Tegelijkertijd biedt Snappet wel een verrijking door de rapporten en ook de verbinding van de voortgang op vooraf ingeschatte lesdoelen. Learning analytics kunnen een meer onderbouwde bevestiging leveren van de voortgang van een leerling. Deze onderbouwing kan nuttig zijn in de communicatie aan de leerling en zijn ouders. Het helpt om begrip voor de situatie te krijgen.

5 Hoe kun je informatie uit verschillende bronnen integreren: verschillende methoden toetsen op papier en digitaal? De gegevens uit Snappet en Cito kunnen aan elkaar gerelateerd worden. Op dit moment is nog weinig bekend hoe zich die tot elkaar verhouden. Het vastleggen van de leerstijl van de leerling komt niet overeen tussen Snappet en Parnassys. Ook ontbreekt in de learning analytics momenteel informatie over de strategie van de leerling om tot een antwoord te komen. Wil je als leraar inzicht in de algoritmes van Snappet? Je ziet dat leerlingen in de praktijk andere opgaven aangeboden krijgen. Als Snappet wordt gebruikt waarvoor het is bedoeld (oefensoftware) dan is inzicht in het algoritme niet nodig, volgens een leraar. Als Snappet ook anders gebruikt gaat worden, zoals vervanging van toetsing, dan kan dat veranderen. Hoe om te gaan met zorgleerlingen en learning analytics? Het vastleggen van ervaringen met leerlingen gedurende het schooljaar in het LVS biedt de leraar van het volgende schooljaar aan het begin van het jaar ervaringen en cijfermatige inzichten. Voor de overdracht is dit betekenisvol. Tot slot In de workshop is ook nog naar voren gekomen dat teams vaak het beeld hebben dat het gebruik van Snappet goed gaat. Als een expert in hun praktijk meekijkt, blijkt dan vaak dat nog veel meer mogelijk is. Het gebruik van Snappet kan tot betere motivatie in teams leiden. Het is zaak om verdere professionalisering vanuit positiviteit te doen: gefaseerd trainingsaanbod, stimuleren van schooldirecteuren, het ontwikkelen van PLG s, collega s verhalen laten vertellen, aanbieden van coaching uit de eigen organisatie.