2 2.2 Vraagstelling Onderzoeksopzet Onderzoeksteam Dit document Definities

Transcriptie

1 Marktscan digitale leermiddelen Kennisnet Rapport 18 juni 2013 Bianca Buts Jacob Molenaar

2 Inhoudsopgave 1. Inleiding 1 2. Vraagstelling en onderzoeksopzet Type systemen Vraagstelling Onderzoeksopzet Onderzoeksteam Dit document 4 3. Raamwerk Definities Fasering: leren, meten en (bij)sturen Aggregatieniveau: dimensies en niveaus Voorbeelden Uitwerking van de onderzoeksvraag Analyseresultaten Aanpak van de inventarisatie Functionaliteiten en bereik Studiebijeenkomst ontwikkelaars/leveranciers Conclusies Marktsectoren Groepen systemen Intelligente adaptiviteit van leersystemen: de heilige graal? Interoperabiliteit en standaarden Discussie en aanbevelingen De docent Een informatiearchitectuur voor learning analytics? Summatieve toetsing Onderhoud en actualiteit van de marktscan 36

3 8. Bijlagen 37 Bijlage 1. Vragenlijst survey Bijlage 2. Typeringen van de systemen Bijlage 3. Detailgegevens per systeem

4 1. Inleiding Kennisnet heeft voor 2013 en verder de ambitie het onderwijs te ondersteunen bij het personaliseren van het leren. In het kader van opbrengstgericht onderwijs is het belangrijk om docenten te faciliteren bij het gebruiken van leeropbrengsten en te differentiëren in leeraanbod tussen leerlingen. Daarvoor neemt Kennisnet verschillende initiatieven op het vlak van toetsen, learning analytics en opbrengstgericht onderwijs. Zo ook het onderhavige onderzoek naar adaptieve leersystemen, learning analytics en formatieve digitale toetsing, uitgevoerd door Twynstra Gudde. In het voorjaar van 2013 is onderzoek gedaan naar het huidige applicatielandschap voor het primair onderwijs, het voortgezet onderwijs en het middelbare beroepsonderwijs voor formatieve toetsing, learning analytics en adaptieve leersystemen. Het doel van dit onderzoek is het verkrijgen van een overzicht waarin het actuele applicatieaanbod voor deze onderwijssectoren wordt gepresenteerd en geclassificeerd om op basis hiervan scholen zo goed mogelijk te kunnen adviseren. Dit rapport bevat een analyse van de uitkomsten van het onderzoek. De details per systeem staan beschreven in de bijlage. Marktscan digitale leermiddelen 18 juni 2013 Pagina 1/37

5 2. Vraagstelling en onderzoeksopzet In april 2013 heeft Kennisnet een onderzoeksvraag uitgezet naar drie soorten onderwijstechnologische systemen. 2.1 Type systemen In de opdrachtomschrijving van Kennisnet is sprake van drie typen systemen: - Digitale toetsfunctionaliteit voor formatieve toetsing Pakketten die gebruikt kunnen worden voor formatieve toetsing, de meest gebruikte ELO s met toetsfunctionaliteit, de meest gebruikte toetsbanken, et cetera - Learning analytics functionaliteit Onder learning analytics verstaat Kennisnet het meten, verzamelen, analyseren en visualiseren/ rapporteren van data over leerlingen en hun context met als doel het verbeteren van het onderwijs(proces). Daarbij maken wij een onderscheid naar analytics voor de leerling, de leraar, de school en landelijk. Tussen deze actoren verschilt de wijze van visualisatie sterk. Een learning analyticssysteem is de applicatie die boven beschreven functionaliteit ondersteunt - Digitale leermiddelen die feedback leveren over (individuele) leerprestaties van leerlingen Het gaat hier uitdrukkelijk niet om een brede inventarisatie van leermiddelen. De inventarisatie dient te worden gericht op adaptief leermateriaal: digitaal leermateriaal wat ontworpen is om feedback te geven over de prestaties van leerlingen. 2.2 Vraagstelling Met de marktscan wilde Kennisnet een representatief en zo volledig mogelijk overzicht te geven van het actuele applicatieaanbod in het po, vo en mbo waarbij aandacht geschonken diende te worden aan de volgende vragen: Inhoud: 1. Welke soorten toetsitems worden aangeboden/kunnen worden gemaakt? Het gaat hier niet om beschrijving van individuele items. We willen graag inzicht in categorieën items die beschikbaar komen via de applicatie 2. Welke vrijheidsgraden bieden de applicaties aan docenten? Wat zijn de mogelijkheden van docenten om hun eigen accenten in toetsen te leggen, items te maken of te wijzigen? 3. Biedt de applicatie de mogelijkheid om aan te sluiten bij standaarden voor onderwijsprogramma s, bijvoorbeeld het onderwijsbegrippenkader? Dergelijke standaarden maken het mogelijk om toetsen en instructiemateriaal aan elkaar te koppelen, zodat meer maatwerk aan leerlingen kan worden geboden 4. Op welke wijze wordt de inhoud van de toetsen/leermiddelen actueel gehouden? Marktscan digitale leermiddelen 18 juni 2013 Pagina 2/37

6 Technisch en informatiekundig: 5. Op welke wijze worden resultaatgegevens uit de applicatie technisch beschikbaar gesteld? Is de koppeling te maken met de in de onderwijssector meest gebruikte leerlingvolgsystemen of op andere wijze te integreren met andere pakketten? 6. Welke eisen stelt het pakket aan de technische infrastructuur van een school? Welke platforms zijn nodig? Worden marktafwijkende eisen gesteld aan hardware? Overig: 7. Hoe is de verdeling in de inventarisatie naar applicaties die zich richten op cognitieve kennis (taal, rekenen) en applicaties die zich richten op sociale-emotionele ontwikkeling? 8. Voor learning analytics systemen: op welke wijze wordt informatie beschikbaar gesteld voor verschillende doelgroepen: leerling, leraar, school, bestuur en landelijk? 2.3 Onderzoeksopzet Het onderzoek heeft uit drie fasen bestaan, te weten: - Creëren conceptueel raamwerk Om het actuele aanbod aan onderwijstechnologische systemen te kunnen ordenen en te classificeren, is een raamwerk gemaakt. Dit raamwerk is ontstaan op basis van literatuuronderzoek, gesprekken met expert uit de markt1 en een bijeenkomst met Kennisnet. Het raamwerk staat omschreven in hoofdstuk 3. - Uitvoeren grootschalige survey Op basis van het opgestelde raamwerk (zie afbeelding 1 en 2), is een survey opgesteld welke is uitgezet in de markt. Leveranciers konden zich melden via een oproep op de Kennisnet website (18 reacties). Daarnaast is deskresearch gedaan en zijn op basis van eerdere onderzoeken naar de desbetreffende systemen gegevens boven tafel gekomen. In totaal zijn er ongeveer 70 leveranciers aangeschreven, waarvan 50 leveranciers van systemen aan de survey deel hebben genomen en er 54 zijn beschreven het onderzoek. - Organiseren studiebijeenkomst met ontwikkelaars/leveranciers Deelnemers aan de survey zijn vervolgens uitgenodigd voor een informele bijeenkomst, waarin enerzijds in is gegaan op het raamwerk dat in dit onderzoek is gebruikt. Daarnaast zijn gezamenlijk een aantal toekomstbeelden besproken en gedeeld hoe gepersonaliseerd leren in Nederland tot een succes gemaakt kan worden. 2.4 Onderzoeksteam Het onderzoeksteam bestond uit: - Bianca Buts (Twynstra Gudde) - Desirée Joosten-ten Brinke (Open Universiteit) - Jo Fond Lam (Cinop) - Bas Kruiswijk (Twynstra Gudde) - Jacob Molenaar (Jacob Molenaar Advies en Projectleiding). 1 Desiree Joosten-ten Brinke (Open Universiteit) Jo Fond Lam (Cinop) Sander Latour (Universiteit van Amsterdam), Marktscan digitale leermiddelen 18 juni 2013 Pagina 3/37

7 2.5 Dit document Dit document is een beknopt rapport van het onderzoek en bevat de volgende onderdelen: - hoofdstuk 3: Raamwerk - hoofdstuk 4: Uitkomsten en analyse - hoofdstuk 5: Studiebijeenkomst - hoofdstuk 6: Conclusies - hoofdstuk 7: Discussie en aanbevelingen. De uitgebreide typeringen van de systemen die deel hebben genomen aan dit onderzoek, vindt u in de bijlage. Evenals de gebruikte vragenlijst voor de survey. Aangezien het onderzoek vertrouwelijke gegevens bevat, is het gehele onderzoek waarin alle resultaten uit de survey worden omschreven alleen voor Kennisnet in te zien Leeswijzer voor Kennisnet Antwoorden op de door Kennisnet gestelde onderzoeksvragen zijn als volgt in dit rapport verwerkt: Inhoud: 1. Welke soorten toetsitems worden aangeboden/kunnen worden gemaakt? Het gaat hier niet om beschrijving van individuele items. We willen graag inzicht in categorieën items die beschikbaar komen via de applicatie In algemene zin doen we hierover uitspraken in paragraaf Functionaliteiten voor leren en toetsen. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails) 2. Welke vrijheidsgraden bieden de applicaties aan docenten? Wat zijn de mogelijkheden van docenten om hun eigen accenten in toetsen te leggen, items te maken of te wijzigen? In algemene zin doen we hierover uitspraken in paragraaf Aanpasbaarheid. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails) 3. Biedt de applicatie de mogelijkheid om aan te sluiten bij standaarden voor onderwijsprogramma s, bijvoorbeeld het onderwijsbegrippenkader? Dergelijke standaarden maken het mogelijk om toetsen en instructiemateriaal aan elkaar te koppelen, zodat meer maatwerk aan leerlingen kan worden geboden In algemene zin doen we hierover uitspraken in paragraaf Standaardencompliancy. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails) 4. Op welke wijze wordt de inhoud van de toetsen/leermiddelen actueel gehouden? Dit verschilt zo sterk per systeem dat er In algemene zin weinig over te zeggen valt. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails). Marktscan digitale leermiddelen 18 juni 2013 Pagina 4/37

8 Technisch en informatiekundig: 5. Op welke wijze worden resultaatgegevens uit de applicatie technisch beschikbaar gesteld? Is de koppeling te maken met de in de onderwijssector meest gebruikte leerlingvolgsystemen of op andere wijze te integreren met andere pakketten? In algemene zin doen we hierover uitspraken in de paragrafen Interoperabiliteit, 6.4 Interoperabiliteit en standaarden en 7.2 Een informatiearchitectuur voor learning analytics? Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails) 6. Welke eisen stelt het pakket aan de technische infrastructuur van een school? Welke platforms zijn nodig? Worden marktafwijkende eisen gesteld aan hardware? In algemene zin doen we hierover uitspraken in paragraaf Technische randvoorwaarden. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails). Overig: 7. Hoe is de verdeling in de inventarisatie naar applicaties die zich richten op cognitieve kennis (taal en rekenen) en applicaties die zich richten op sociale-emotionele ontwikkeling? In algemene zin doen we hierover uitspraken in paragraaf Functionaliteiten voor leren en toetsen. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails) 8. Voor learning analyticssystemen: op welke wijze wordt informatie beschikbaar gesteld voor verschillende doelgroepen: leerling, leraar, school, bestuur en landelijk? In algemene zin doen we hierover uitspraken in paragraaf Functionaliteiten voor meten en analyseren. Per systeem is dit uitgewerkt in bijlage 2 (typering en overzicht) en bijlage 3 (systeemdetails). Marktscan digitale leermiddelen 18 juni 2013 Pagina 5/37

9 3. Raamwerk 3.1 Definities In haar vraagstelling hanteert Kennisnet de volgende systeemtypologie: - systemen voor formatief toetsen - adaptieve leersystemen met feedback-functionaliteit - systemen voor learning analytics. In deze marktscan hanteren we de volgende definities van de in deze typologie voorkomende begrippen: - formatief toetsen Het Gemeenschappelijk Europees Referentiekader hanteert als definitie van formatief toetsen: Formatieve toetsing is een doorlopend proces van informatie verzamelen over de leerresultaten, over sterke en zwakke punten, die de docenten/leerkrachten kunnen gebruiken voor feedback (feedback) bij hun lesvoorbereiding en naar hun leerders toe. Formatieve toetsing wordt vaak zeer breed toegepast en omvat dan ook niet-kwantificeerbare informatie uit vragenlijsten en overleg2. - adaptieve leersystemen Beldagli en Adiguzel definiëren het begrip adaptieve leersystemen in 2010 als volgt: Aan de hand van algoritmes bouwt een adaptief leersysteem een model van de doelen, voorkeuren en kennis van elke individuele leerling en gebruikt dit model tijdens de interactie met de leerling om zich aan te kunnen passen aan de behoeften van die leerling3 - learning analytics Van het begrip learning analytics doen vele definities de ronde. Wikipedia zegt: Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs.4 Ook al lijken de begrippen op het eerste gezicht heel verschillend, toch bevatten ze veel inhoudelijke overeenkomsten. Het gaat steeds over het onderwijsleerproces. Processen van een individuele leerling wordt gemeten waarna de meetresultaten worden teruggekoppeld naar dat proces teneinde de performance van alle betrokken personen (leerling en docent) en de inrichting van alle factoren (doelen, leerstof en leerwijze) te verbeteren. De verschillende begrippen uit de systeemtypologie van Kennisnet hebben met andere woorden allemaal te maken met de onderwijsleersituatie. Onder het begrip onderwijsleersituatie wordt doorgaans verstaan: - de doelstellingen, leerdoelen, leerstof en leermiddelen - de leerlingen, hun beginsituatie, hun leerstijl en hun interactie - de docent(en), vaardigheden, attitudes en de interactie - de omstandigheden, lokaal, tijd, rooster en toevallige omstandigheden voor de gehele groep of voor individuen. Als we dit beeld van de onderwijsleersituatie combineren met het cyclische terugkoppelidee van formatief toetsen, adaptief leren en learning analytics zoals hierboven beschreven, dan ontstaat het volgende model: Citaat uit rapport Verkenning Adaptieve Leersystemen: Beldagli, B., & Adiguzel, T. (2010). Illustrating an ideal adaptive e-learning: A conceptual framework. Procedia - Social and Behavioral Sciences, 2, juni 2013 Marktscan digitale leermiddelen 18 juni 2013 Pagina 6/37

10 afbeelding 1. Dit eenvoudige model bevat twee dimensies van onderwijstechnologische systemen: - kenmerken en functionaliteiten voor de fasen in het onderwijsleerproces: leren, meten en (bij)sturen - kenmerken en functionaliteiten voor de verschillende aggregatieniveaus voor de verschillende eindgebruikers op micro, meso en macroniveau. We hanteren hierbij de strikt descriptief bedoelde term onderwijstechnologisch systeem. Hier vallen onder alle leermanagementsystemen, toetservicesystemen, leerlingadministratiepakketten, tiepakketten, educatieve software, analysetools, et cetera. 3.2 Fasering: leren, meten en (bij)sturen Voor de fasering wordt zoals gezegd het model van de onderwijsleersituatie gebruikt. Dit model onderscheidt drie aspecten of fasen van het onderwijsleerproces, te weten: leren, meten en (bij)sturen. Al deze processen kunnen ondersteund worden door onderwijstechnologische systemen. Samen is dit (vrij naar de meet- en regeltechniek) de meet- en regelkring van het onderwijsleerproces. Onder leren wordt het daadwerkelijke leren door de leerling zelf in al zijn aspecten verstaan. Leren vindt plaats als de leerling oefent, samenwerkt, interactie heeft met andere leerlingen, maar ook als er feedback wordt gegeven en ontvangen. Daar waar het leren met behulp van digitale leermiddelen betreft, gaat het eveneens om het interacteren met deze software. Met meten worden al die activiteiten bedoeld, die gebruikt worden om het leerproces te evalueren. Dit kan bijvoorbeeld door middel van toetsen, maar ook bijvoorbeeld door het bijhouden van de bestede tijd, het opbouwen van een portfolio, et cetera. Het aggregeren van meetgegevens tot grotere eenheen het presenteren van deze informatie maken eveneens onderdeel uit van het meten. Binnen dit proces spelen de meeste aspecten van learning den op bijvoorbeeld klas-, school- of zelfs cohortniveau analytics zich afspelen. Marktscan digitale leermiddelen 18 juni 2013 Pagina 7/37

11 Onder sturen tenslotte, verstaan we alle processen die nodig zijn om het leerproces van de leerling in te richten. Dat kan van school- of profielkeuze (hoog aggregatieniveau, zie paragraaf 3.3) tot het aanbieden van een extra oefening als een leerling een opgave niet snapt (laag aggregatieniveau) gaan. Hierbij horen activiteiten zoals: plannen, selecteren, aanpassen, diagnostiseren, analyseren, et cetera. Er wordt ook wel gesproken van onderwijskundige en didactische interventies of beslissingen. Het is in de fase van het sturen dat de meeste aspecten van adaptiviteit van leersystemen aan de orde zijn. Hierbij is de vraag welke aanpassingen van het leerproces aan de leerling een systeem kan verzorgen. Bij de verschillende fasen in het model staan activiteiten genoteerd die typisch in die betreffende fase worden uitgevoerd. Onderwijstechnologische systemen ondersteunen deze activiteiten met specifieke functionaliteiten of nemen deze zelfs in meer of mindere mate over van de actoren in het onderwijsleerproces (docenten, leerlingen en schoolmanagement). Onderwijstechnologie is op deze wijze beschouwd een vorm van automatisering van deze processen. Tussen de verschillende fasen van het onderwijsleerproces bestaan koppelvlakken. Het zijn hiermee geen geïsoleerde processen. Gemeten wordt er aan de (inter)acties van de leerlingen, stuurbeslissingen worden genomen op basis van meetresultaten en het leren zelf wordt vervolgens ingericht op basis van genomen stuurbeslissingen. Feedback geven bijvoorbeeld, een essentieel onderdeel van het leerproces, kan pas plaatsvinden nadat de prestatie van de leerling is gemeten en beoordeeld. Zo blijven de fases elkaar opvolgen in een wederkerig proces. 3.3 Aggregatieniveau: dimensies en niveaus Naast de verschillende fasen van het onderwijsleerproces, kunnen er verschillende (aggregatie) niveaus worden onderscheden. De meet- en regelkring van het onderwijs kan zich namelijk op verschillende (aggregatie)niveaus afspelen. Er is sprake van drie dimensies, met per dimensie drie niveaus: micro, meso en macro: 1. Onderwijsinhoud:. op microniveau een les, een oefening of een opdracht. op mesoniveau een periode (bijvoorbeeld tot het volgende rapport) of een module. op het macroniveau een complete opleiding. 2. Organisatorische eenheid:. op microniveau de individuele leerling en zijn docent. op mesoniveau klassen. op macroniveau een complete school of, landelijk gezien, een cohort. 3. Actoren:. op microniveau de actoren die zich met het leerproces zelf bemoeien (leerling en docent);. op mesoniveau de vakgroep, ouders en het schoolmanagement;. op macroniveau het (bovenschools) management, de onderwijsinspectie, de sectorraden en het ministerie van OCW. Marktscan digitale leermiddelen 18 juni 2013 Pagina 8/37

12 afbeelding Voorbeelden Op microniveau manifesteert de meet- en regelkring zich bijvoorbeeld in een interactieve oefening voor een leerling waarmee hij een bepaalde score haalt die bepalend is voor het moeilijkheidsniveau van de volgende oefening die hij aangeboden krijgt (stuurbeslissing van een adaptief leersysteem). Op mesoniveau is de meet- en regelkring bijvoorbeeld zichtbaar bij een leerling die besluit om naar aanleiding van een slecht rapportcijfer in de volgende periode meer aandacht te besteden aan de proefwerken van een bepaald vak. Ook een leerkracht die op basis van een fors aantal D-scores in het leerlingvolgsysteem van Cito besluit om meer aan spelling te gaan doen met de klas, is een voorbeeld van een meet- en regelkring op mesoniveau (stuurbeslissing van een leerkracht). Op macroniveau tenslotte is een voorbeeld van de meet- en regelkring het overgangsbeleid van een vo-school. Om over te gaan van de ene klas naar de volgende is een gedetailleerd regelsysteem beschikbaar dat bepaalt bij welke cijfercombinatie een leerling dat wel of niet mag doen. Op basis van een gegeven rapport beslist de lerarenvergadering aan de hand van deze regels of een bepaalde leerling over gaat of moet doubleren (formele stuurbeslissing). Een leermanagementsysteem als Its Learning bijvoorbeeld is een onderwijstechnologisch systeem met functionaliteiten voor leren, meten en sturen op micro- en mesoniveau voor leerlingen, docenten en schoolmanagement. QuestionMark Perception en Quayn zijn systemen voor or Meten op Microniveau voor leerlingen en docenten. Het Leerlingvolgsysteem van Cito voor het basisonderwijs is een systeem voor meten op meso- en macroniveau voor leerlingen, docenten, schoolmanagement, overheid en ouders. Marktscan digitale leermiddelen 18 juni 2013 Pagina 9/37

13 3.5 Uitwerking van de onderzoeksvraag De acht onderzoeksvragen van Kennisnet hebben we vertaald in acht aspecten van de onderwijstechnologische systemen die we voor de marktscan hebben onderzocht: 1. Functionaliteiten 2. Data 3. Interoperabiliteit 4. Standaarden-compliancy 5. Content-invulling 6. Aanpasbaarheid 7. Sturingsintelligentie 8. Technische randvoorwaarden. We behandelen hieronder de verschillende aspecten in hun voor de marktscan relevante context. Functionaliteiten Voor de beschrijving van de functionaliteiten van de verschillende systemen hebben we het in het vorige hoofdstuk gepresenteerde model van de onderwijsleersituatie gebruikt. In de survey wordt gevraagd naar typering van het systeem aan de hand van de geboden functionaliteiten op de terreinen van leren, meten en sturen op de verschillende niveaus (micro-, meso- en macroniveau) voor de beoogde (eind)gebruikers: - leren: hoe wordt er geleerd (inclusief mate van adaptiviteit) - meten: welke data wordt verzameld en welke gegenereerd, op basis waarvan wordt er gegenereerd, wie is eigenaar van de data - sturen: hoe wordt er gestuurd, wie stuurt, ten opzichte waarvan wordt gestuurd. Data Het onderwijsleerproces is een bijzonder informatie-intensief proces. Het conceptueel raamwerk dat in hoofdstuk 3 gepresenteerd is, heeft hiermee ook een informatiekant. Die ziet er in schema als volgt uit: input bewerking output leren meten sturen Welke informatie is nodig om Data over welke aspecten van Welke informatie is er nodig om het leerproces in te richten? het leerproces meetgegevens het leerproces te kunnen worden verzameld? ontwerpen of bij te sturen? Welke data wordt er in het Hoe wordt deze data geaggregeerd Welke regels worden toegepast leerproces gebruikt en en bewerkt? om tot stuurbeslissingen te geproduceerd? komen? Welke informatie levert het Welke informatie levert het Hoe worden stuurbeslissingen leerproces uiteindelijk als meetproces op? Voor wie is uitgedrukt? output op? deze informatie bedoeld? Onder data verstaan we hier niet alleen gebruikersgegevens maar ook van toepassing zijnde referentiestructuren zoals de Kernprogramma s van SLO of de eindexamenprogramma s van CvE. Bevat het systeem een inhoudsopgave, doelenbomen, kenniskaarten, methodestructuur, leerlijnen, et cetera en in hoeverre zijn deze gerelateerd aan de officiële referentiestructuren? Interoperabiliteit De mate waarin onderwijstechnologische systemen interoperabel zijn op de hierboven beschreven wijze, bepaalt in hoge mate hun inzetbaarheid in de dagelijkse praktijk van een onderwijsinstelling. Leer(management)-, toets- en learning analyticssystemen moeten dus zeker op hun interoperabiliteitsmerites worden beoordeeld. Marktscan digitale leermiddelen 18 juni 2013 Pagina 10/37

14 Standaarden-compliancy In het onderwijs zijn enkele afspraken gemaakt over het gebruik van standaarden om gegevens uit te wisselen. Vragen die in de survey hierover aan de orde komen, zijn: welke standaarden hanteren de onderwijstechnologische systemen op de koppelvlakken die ze aanbieden? In hoeverre voldoende de systemen aan de set van afspraken en standaarden van EduStandaard? Content-invulling Systemen bestaan met of zonder content. De vraag hierover is: is het systeem gevuld met content, zoals bijvoorbeeld het leerlingvolgsysteem van Cito (met toetsen en analyseregels), of is het systeem leeg, zoals bijvoorbeeld een standaard geleverde ELO of toetsservicesysteem? Aanpasbaarheid Welke aspecten van het systeem kunnen door de gebruikers worden aangepast? Denk aan content van een leersysteem, vraagtypes van een toetsservicesysteem, analysepatronen van een learning. Hierbij aandacht voor vraag analytics-tool of de algoritmes en regels die de sturing van een adaptief leersysteem bepalen. Sturingsintelligentie De vraag over de mate van intelligentie heeft te maken met de adaptiviteit. In hoeverre neemt een systeem een beslissing over het functioneren van een leerling ten opzichte van een docent of de leerling. Sommige systemen herkennen patronen en passen hier het systeem op aan. Vragen die hierover gaan zijn: Welke beslissingen neemt het systeem zelf en welke neemt de docent of de leerling zelf? Hoe neemt het systeem beslissingen? Technische randvoorwaarden Tenslotte belangrijk om het te hebben over de technische randvoorwaarden. Welke eisen stelt het pakket aan de technische infrastructuur van een school? Welke platforms zijn nodig? Worden marktafwijkende eisen gesteld aan hardware? Marktscan digitale leermiddelen 18 juni 2013 Pagina 11/37

15 4. Analyseresultaten 4.1 Aanpak van de inventarisatie Voor de marktscan hebben we allereerst op basis van deskresearch en het raadplegen van deskundigen uit de verschillende onderwijssectoren een longlist van mogelijk relevante systemen opgesteld. Dit is mede gebeurd op basis van een in opdracht van Kennisnet en SURF uitgevoerde studie naar adaptieve leersystemen uit In deze studie komen voor PO en VO de volgende systemen naar voren: 1. Acadin (po) 2. Eigenwijs op reis (po) 3. Letterpret (po) 4. Mijnnaamishaas (po) 5. Monstermedia (po) 6. Onlineklas (po) 7. Squla (po) 8. Taalactief Woordenschat (po0 9. ALEKS (po/vo) 10. Rekentuin (po/vo) 11. Muiswerk (vo) voorbiologie (vo) 13. Geo-online (vo) 14. Woordjesleren (vo) Uit deze lijst hebben we om dubbel werk te voorkomen alleen die systemen geselecteerd waarvan we meenden dat onze inventarisatieaanpak tot nieuwe inzichten zou kunnen leiden. Deze lijst hebben we aangevuld met andere, deels recent ontwikkelde systemen. De in de studie uit 2011 uitgesloten lege systemen hebben we wel meegenomen, omdat zij functionaliteiten kunnen bevatten op het terrein van adaptiviteit en learning analytics. Naast lijsten uit eerder onderzoek, hebben we gekeken naar de systemen die naar voren kwamen op het Seminar Tools voor learning analytics dat SURF organiseerde op 7 maart Het betrof hier echter uitsluitend systemen bedoeld voor het hoger onderwijs. Een informatievraag is uitgezet bij het team van het leermiddelenplein van SLO, een aantal beleidsadviseurs van de MBO-Raad en het projectenbureau MBO-diensten. De beschrijving/typering van de leermiddelen op het platform van SLO bleek niet toereikend om met name adaptieve leersystemen en systemen voor learning analytics te identificeren. Tenslotte is via de website van kennisnet een oproep gedaan naar leveranciers om zich te melden mee te doen aan de inventarisatie. De ontwikkelaars/leveranciers van alle gevonden systemen hebben we benaderd met de vraag of ze wilden deelnemen aan een online survey. Niet ieder door ons benaderd systeem bleek uiteindelijk relevant voor de marktscan (bijvoorbeeld omdat een toetsserviceplatform alleen voor summatieve toetsing was bedoeld of alleen voor het hoger onderwijs, et cetera). Uiteindelijk hebben 50 ontwikkelaars/leveranciers aan de survey deelgenomen. 5 6 Verkenning Adaptieve Leersystemen, SURFnet/Kennisnet Innovatieprogramma, april 2011 Zie: Marktscan digitale leermiddelen 18 juni 2013 Pagina 12/37

16 Wij hebben daarnaast nog eens vier systemen zelf beschreven, omdat we meenden dat ze in hoge mate voldeden aan het profiel van de marktscan en niet in de marktscan mochten ontbreken, ondanks het feit dat de ontwikkelaar/leverancier niet reageerde op ons verzoek deel te nemen aan de survey. We hebben de ontwikkelaars/leveranciers gevraagd de survey in te vullen voor de situatie in het schooljaar Op deze manier is maximale actualiteit van de gegevens gewaarborgd. De uiteindelijke lijst van onderzochte systemen is als volgt: Nr. Systeem Leverancier Survey 1. ARGO Electude ja 2. Cito Volgsysteem Cito B.V. ja 3. Computron Toets Computron Nijmegen B.V. ja 4. Cum Laude MagnaView ja 5. EduArte UP learning ja 6. Eindexamensite VO-content ja 7. Fronter Pearson ja 8. Got it?! ThiemeMeulenhoff ja 9. Huiswerk.af en Wiskunde.af Huiwerk.af ja 10. itslearning itslearning Nederland ja 11. Jeelo Jeelo ja 12. Kennistoetsen Detailhandel en Rekenen Edu'Actief ja 13. Khan Academie Perceptum ja 14. Khan Academy Khanacademy NL ja 15. Knewton Knewton nee 16. Leswijs en proefwerkplaats Dedact ja 17. Magister Iddinkgroep (o.a SchoolMaster) ja 18. Malmberg Learning Platform Malmberg ja 19. Methodestartpagina - Oefenmodule ThiemeMeulenhoff ja 20. Moodle UP Learning ja 21. Muiswerk Muiswerk Educatief ja 22. N@Tschool! Three Ships ja 23. Oefenen.nl Stichting Expertisecentrum ETV.nl ja 24. Oefentoetsen hout/timmer/meubel Kenniscentrum SH&M ja 25. OnlineKlas Jongbloed Educatief ja 26. Op pad met Haas Mijn naam is Haas ja 27. ParnasSys Topicus ja 28. PrOmotie Digitaal Edu'Actief ja 29. PulseOn PulseOn ja 30. Quayn/WinToets QuestionWise/De Rode Planeet ja 31. Questionmark Perception/OnDemand UP learning ja 32. Referentietoetsen Taal en Rekenen Noordhoff ja 33. Rekenblokken, Taalblokken Malmberg ja 34. Rekeneniseenmakkie.nl HERA en Scolly ja 35. Rekentuin & Taalzee Oefenweb.nl ja 36. RemindoContent Paragin ja 37. RemindoToets Paragin ja 38. ROUTE VO ROUTE VO ja 39. Schoolkompas SchoolInfo ja 40. SchoolOAS Dotcomschool B.V. ja Marktscan digitale leermiddelen 18 juni 2013 Pagina 13/37

17 Nr. Systeem Leverancier Survey 41. Schooltas ThiemeMeulenhoff ja 42. SeoL Edu'Actief ja 43. SOM & SOMtoday Simac Onderwijs bv ja 44. Squla Cito nee 45. StudioVO StudioVO ja 46. Studyflow - Rekenen Studyflow ja 47. T32 Totem Teach32 ja 48. Taal Actief (nieuwe generatie) Uitgeverij Malmberg ja 49. TestVision Online Teelen Kennismanagement ja 50. TOA Bureau ICE ja 51. Trajectplanner Trajectplanner nee 52. Toetsplaza AOC Raad ja 53. Vensters PO/VO Schoolinfo nee 54. Wizwijs, Veilig Leren Lezen uitgeverij Zwijsen ja Hieronder beschrijven we de feitelijke uitkomsten van de marktscan op basis van de survey en de vier eigen systeemtyperingen. We doen dit aan de hand van de kwantitatieve uitkomsten van de survey op relevante vragen. In het volgende hoofdstuk zullen we proberen om enige conclusies aan deze waarnemingen te verbinden. 4.2 Functionaliteiten en bereik Wat betreft de verschillende fasen van het model van het onderwijsleerproces dat we in deze marktscan hanteren, scoren de 50 systemen als volgt: - functionaliteiten voor (bij)sturen: 36 systemen - functionaliteiten voor leren en toetsen: 38 systemen - functionaliteiten voor meten en analyseren: 44 systemen. Ongeveer de helft van de systemen in de survey claimt functionaliteiten voor het gehele onderwijsleerproces te bevatten: (bij)sturen, leren/toetsen en meten/analyseren Functionaliteiten voor (bij)sturen De 36 systemen die functionaliteiten voor (bij)sturen bevatten ondersteunen dat door middel van: - automatisch/door het systeem (adaptief): 24 systemen - handmatig door de docent: 31 systemen - handmatig door de leerling: 16 systemen. Uiteraard komen er ook gemengde vormen van (bij)sturing plaats. De (bij)sturing van de leerling vindt plaats ten opzichte van een bepaald referentiekader (doelgerichte sturing). De hiervoor gehanteerde referentiekaders zijn: - eigen structuur/inhoudsopgave/leerdoelenlijst/competentielijst-/vaardighedenlijst: 23 systemen - officieel Kernprogramma (po/vo) of Kwalificatiedossier (mbo): 14 systemen - eigen nadere uitwerking van een officieel kernprogramma (po/vo) of kwalificatiedossier (mbo): 17 systemen. Marktscan digitale leermiddelen 18 juni 2013 Pagina 14/37

18 Wanneer als definitie van adaptiviteit automatische (bij)sturing van het onderwijsleerproces voor de individuele leerling wordt genomen, valt het op dat een behoorlijk hoog percentage van de leer/toetssystemen adaptief is. Er zijn echter verschillende manieren waarop deze automatische (bij)sturing kan plaatsvinden. In de paragraaf Sturingsintelligentie gaan we dieper op deze kwestie in. Voor wat betreft het aggregatieniveau van de sturing blijkt uit de survey dat de meeste systemen sturen op micro- en mesoniveau. Adaptiviteit komt alleen op microniveau voor. Dat is niet vreemd gelet op het feit dat adaptiviteit vooral wordt ingezet in situaties van gepersonaliseerd en dus individueel leren. (Bij)sturing op mesoniveau (klas, leerstofonderdeel en periode) vindt vooral handmatig plaats, door de docent. Hij zet leerlijnen en/of leerstofonderdelen klaar in het systeem voor een complete klas Functionaliteiten voor leren en toetsen De 38 systemen in de survey ondersteunen het leren en toetsen van: - kennis: 31 systemen - cognitieve vaardigheden: 30 systemen - taalvaardigheden: 26 systemen - motorische vaardigheden: 5 systemen - instrumentele vaardigheden: 6 systemen - sociale vaardigheden: 9 systemen - andere vaardigheden: 5 systemen. Vrijwel alle systemen uit de survey die leren/toetsen ondersteunen, geven de leerling directe feedback op zijn leergedrag: - geen feedback: 2 systemen - alleen goed/fout: 18 systemen - standaard inhoudelijke feedback: 28 systemen - gepersonaliseerde inhoudelijke feedback: 18 systemen - anders: 15 systemen Functionaliteiten voor meten en analyseren Er ontstaat voor wat betreft het meten en analyseren in de survey-resultaten een duidelijk onderscheid tussen enerzijds de systemen die zich op het leren/toetsen van individuele leerlingen zelf richten (microniveau) en anderzijds de systemen die zich met afgeleide data richten op onderwijsprocessen op meso- en macroniveau (leerlingadministratiesystemen, et cetera). Deze groepen systemen verschillen sterk van elkaar qua doelstelling en dus ook van omgang met de data. Het merendeel van de systemen registreert (uitgebreid) persoonlijke gegevens van de lerende. Ook van het leerproces worden veel gegevens verzameld (scores, tijdstip, tijdsduur, keuzes en waarderingen). Deze gegevens kunnen ten opzichte van verschillende referentiestructuren worden gepresenteerd: - eigen structuur van het systeem: 21 systemen - kernprogramma of Kwalificatiedossier: 19 systemen - eigen uitwerking/interpretatie van Kernprogramma of Kwalificatiedossier: 14 systemen. De meetgegevens worden door de systemen op verschillende niveaus geaggregeerd: - op leerlingniveau: 37 systemen - op klasniveau: 32 systemen - op schoolniveau: 18 systemen - op cohortniveau (bovenschools): 11 systemen Marktscan digitale leermiddelen 18 juni 2013 Pagina 15/37

19 Hier zien we een duidelijk patroon dat het microniveau het belangrijkste is voor de meeste systemen (voor verzamelen, verwerken en presenteren van data) en dat het meso- en macroniveau van afnemend belang zijn. Dit is niet vreemd, omdat data immers eerst verzameld moeten worden op microniveau willen ze ingezet kunnen worden voor analysedoeleinden op hoger niveau. Maar enkele systemen zetten learning analytics in, waarbij grote hoeveelheden data (hoog aggregatieniveau) gebruikt worden om (bij)stuurbeslissingen op microniveau te doen. Een vergelijkbaar patroon zien we in de doelgroepen aan wie meetgegevens worden gepresenteerd: - aan de docent: 42 systemen - aan de leerling: 31 systemen - aan de schoolmanager: 25 systemen - aan de leer/toetsstofontwikkelaar: 19 systemen - aan de ouder: 16 systemen - aan OCW/Inspectie: 6 systemen. Ook hier het beeld dat de meetgegevens vooral en in eerste instantie gepresenteerd worden aan direct bij het onderwijsleerproces betrokkenen: docent (en schoolleiding), leerling en leer/toetsstofontwikkelaar. De overige stakeholders staan op grotere afstand van dit proces en worden in mindere mate met meetgegevens bediend. De in de survey geïnventariseerde systemen richten zich voor wat betreft meten en analyseren met andere woorden vooral op micro- en mesoniveau. Een paar gespecialiseerde systemen, met name de leerlingadministratiesystemen, concentreren zich op meso- en zelfs macroniveau Onderwijssectoren De geïnventariseerde systemen zijn geschikt voor de volgende onderwijssectoren: - primair onderwijs middenbouw: 19 systemen - primair onderwijs bovenbouw: 24 systemen - voortgezet onderwijs vmbo onderbouw: 33 systemen - voortgezet onderwijs vmbo bovenbouw: 32 systemen - voortgezet onderwijs havo onderbouw: 32 systemen - voortgezet onderwijs havo bovenbouw: 31 systemen - voortgezet onderwijs vwo onderbouw: 31 systemen - voortgezet onderwijs vwo bovenbouw: 30 systemen - middelbaar beroepsonderwijs niveau 1: 25 systemen - middelbaar beroepsonderwijs niveau 2: 27 systemen - middelbaar beroepsonderwijs niveau 3: 28 systemen - middelbaar beroepsonderwijs niveau 4: 27 systemen - anders namelijk: 20 systemen Data Alle systemen uit de survey verzamelen data, gebruiken en bewerken deze, genereren nieuwe data en presenteren al deze data aan verschillende groepen eindgebruikers. Aan de input-kant van de systemen komen we in grote lijnen de volgende data-typen: - leerlinggegevens - curriculumgegevens (formeel curriculum, informeel curriculum en leerlijnen) - content (leerstof en toetsmateriaal). Marktscan digitale leermiddelen 18 juni 2013 Pagina 16/37

20 Dit laatste type data is alleen relevant voor de lege of aanvulbare systemen. Wat betreft leerlinggegevens verzamelen de bij de survey betrokken systemen de volgende gegevens: - geen: 2 systemen - naam: 37 systemen - leeftijd: 25 systemen - geslacht: 26 systemen - schooltype: 28 systemen - klas: 34 systemen - leerstijl/profiel: 14 systemen - leerlingnummer: 24 systemen - anders: 16 systemen. De systemen betrokken bij de survey verzamelen de volgende data van het leerproces van leerlingen: - scores: 37 systemen - tijdstip van activiteit: 35 systemen - tijdsduur van activiteit: 33 systemen - plaats van activiteit (IP-adres): 15 systemen - keuze van leerobjecten: 21 systemen - likes/dislikes: 9 systemen - anders: 10 systemen. De systemen verzamelen data voor bepaalde doeleinden. Dit zijn in de survey: - geen verwerking: 5 systemen - voor cijferbepaling: 20 systemen - voor alarmering van de docent: 17 systemen - voor leerstijlbepaling van de leerling: 9 systemen - voor vergelijking van de leerling met peers, cohort: 18 systemen - voor kwaliteitsbepaling van de leer/toetsmaterialen: 15 systemen. De systemen die leren/toetsen op microniveau ondersteunen, genereren de volgende output: - gegevens met betrekking tot het leerproces (scores, temporele gegevens (wanneer en hoe lang), waarderingen ( likes/dislikes ) en psychometrische gegevens) - gegevens met betrekking tot de lerende (resultaten (geïnterpreteerde scores) en leerprofielen/ stijlen) - gegevens met betrekking tot de kwaliteit van de leer/toetsstof (psychometrische gegevens). De systemen die meten/analyseren en (bij)sturen op mesoniveau ondersteunen (de leerlingadministratiesystemen) genereren de volgende output: - individuele en geaggregeerde gegevens (klas en cohort) met betrekking tot de resultaten/prestaties van leerlingen - managementinformatie voor de schoolleiding. Er is één systeem in de survey dat zich uitsluitend richt op het genereren van managementinformatie op meso- en macroniveau uit micro-data die opgeslagen is in leerlingadministratiesystemen en dat is Cum Laude. Marktscan digitale leermiddelen 18 juni 2013 Pagina 17/37