Learning analytics voor vraaggestuurde didactiek en begeleiding

Transcriptie

1 Learning analytics voor vraaggestuurde didactiek en begeleiding Eindrapportage bij stimuleringsregeling Learning Analytics 2013 Penvoerder: Hogeschool Utrecht Partners: Looptijd: juni 2013 juni 2014 Projectleider en auteur: Martin de Boer Datum: 22 augustus

2 Inhoud 1. Korte samenvatting Doelstelling, doelgroep en aanpak Resultaat Conclusies Continuering Overige opmerkingen Kostenoverzicht

3 1. Korte samenvatting De Faculteit Economie en Management van Hogeschool Utrecht wil onderzoeken of het studierendement kan worden verhoogd door werkvormen, toetsing, didactiek en individuele begeleiding af te stemmen op de persoonlijke oriëntaties van studenten. Studenten zijn daartoe gesegmenteerd op motivaties en drijfveren. Op deze wijze worden de verschillen tussen studenttypen in behoeften, motivatie en studiehouding in kaart gebracht. Het segmentatiemodel is ontwikkeld op basis van interviews met studenten en docenten en een vragenlijst die onder alle propedeusestudenten van de Faculteit Economie en Management is afgenomen. Met deze methode kunnen vormen van vraaggestuurde didactiek en begeleiding worden ontwikkeld. Door studierendement, studiegedrag en onderwijsbeleving van studenten te monitoren kunnen de effecten op de verschillende studenttypen van huidig onderwijs en van op studenttypen gerichte interventies worden onderzocht. Om de zuivere effecten van interventies op de studenttypen goed te kunnen onderzoeken vindt een koppeling plaats met data uit het intake assessment waarin aanvullende persoonlijkheidsfactoren, capaciteiten, competenties en achtergrondkenmerken worden gemeten. Het segmentatiemodel is kwalitatief gevalideerd onder docenten in workshops en kwantitatief door studieresultaten (EC, gemiddeld cijfer, succesvol doorlopen Challenge programma) en studiehouding (presentie in lessen en aanmelding voor Challenge programma) te analyseren voor de verschillende studenttypen. Een tweetal docenten heeft in hun klas een op de studenttypen gerichte aanpak van het werken met studententeams gebruikt en geëvalueerd. Een studieloopbaanbegeleider heeft de toegevoegde waarde van het model voor studieloopbaanbegeleiding geëvalueerd. Een experimentele opzet voor het toetsen van de effecten is niet gerealiseerd. Het is tevens niet gelukt de onderwijsbeleving te monitoren en te koppelen aan de studenttypen. Analyses en evaluaties van pilots wijzen uit dat deze vraaggestuurde benadering kansrijke mogelijkheden biedt voor het verbeteren van het studiesucces. De benadering en de resultaten zijn vaak en breed gedeeld onder docenten en management van de faculteit en van de HU. Men is enthousiast over deze methode er is steun voor het plan om toepassing voor vraag gestuurde didactiek en begeleiding en matching door te ontwikkelen en pilots uit te voeren in cursusjaar 14/15. 1

4 2. Doelstelling, doelgroep en aanpak De Faculteit Economie en Management van Hogeschool Utrecht wil onderzoeken of het studierendement kan worden verhoogd door werkvormen, toetsing, didactiek en individuele begeleiding af te stemmen op de persoonlijke oriëntaties van studenten. We ontwikkelen en valideren een tool voor docenten en management die inzicht verschaft in de verschillen tussen studenttypen op basis waarvan het onderwijs kan worden geoptimaliseerd en het studiesucces kan worden verhoogd. Gedurende het gehele cursusjaar 2013/2014 is het model doorontwikkeld, gecommuniceerd en draagvlak ontwikkeld. Analyses van verschillen in studiesucces tussen de studenttypen zijn uitgevoerd en het model is gevalideerd onder docenten. Een tweetal pilot-interventies is uitgevoerd en geëvalueerd. De ontwikkeling en validatie is verlopen zoals gepland. Maar het is in 13/14 niet gelukt om faculteit breed met meerdere docententeams interventies te ontwikkelen en uit te voeren en de effectiviteit ervan middels een experimentele opzet te toetsen. Een van de belangrijkste oorzaken daarvan is de onverwachte invoering van een nieuw onderwijsmodel in 2014/2015 (met als aanleiding een aan het ministerie toegezegde verhoging van het aantal contacturen) die de agenda s van teammeetings, studiedagen en workshops bepaalden. Het is wel gelukt telkens de studenttypen en de vraag gestuurde benadering onder de aandacht te brengen en het wordt ook telkens weer aangehaald en vermeld in de plannen. Maar door de druk die de veranderagenda met zich meebracht hadden slechts enkele docenten tijd om mee te denken over toepassing van het model en pilots uit te voeren. Er waren nog te weinig uitwerkingen en pilots met bewezen effectiviteit die over konden worden genomen in het nieuwe onderwijsmodel. Een andere belangrijke oorzaak was dat de opleidingsmanager van de propedeuse van de FEM en een onderwijskundig adviseur, beide mede-auteur van de projectaanvraag, spil in het projectteam en al jaren een spil in het doelgroepenbeleid van de faculteit al met ingang van cursusjaar 13/14 de faculteit verlieten. Tevens heeft de ontwikkeling van het model en daarmee de rest van het project vertraging opgelopen doordat de response op de vragenlijst die in september 2013 is afgenomen te laag was om een betrouwbaar segmentatiemodel op te baseren. Met veel moeite en inspanning van de hele propedeuse organisatie om een hoge response te garanderen, is in december 2013 opnieuw een vragenlijst afgenomen, waarop het werkmodel voor de project is gebaseerd. 3. Resultaat De ontwikkeling van het model en de analyses van de verschillen in studiesucces en daarmee een kwantitatieve validatie - verliepen succesvol. De participatie in het validatieproces onder docenten (herkennen de docenten de studenttypen, met welke anekdotes en quotes van studenten kunnen zij de profielen verrijken) en ook de participatie in het ontwikkelen en uitvoeren van interventies is minder uit de verf gekomen dan verwacht (vanwege oorzaken die in het vorige hoofdstuk zijn genoemd). Overigens heeft het docententeam van de opleidingen in Amersfoort daar wel een belangrijke impuls aan gegeven. De vraag die we met dit project wilden onderzoeken is: Biedt segmentatie op motivaties en drijfveren aanknopingspunten voor vraaggestuurde didactiek en begeleiding en draagt dit bij tot het verhogen van het studiesucces? kan als conclusie van dit project als volgt worden beantwoord: Docenten herkennen de studenttypen, het verschaft hen inderdaad meer inzicht in verschillen tussen studenten, zij zien er de toegevoegde waarde van in en zijn er enthousiast over. Analyses wijzen uit dat de studenttypen verschillen in feitelijke studiehouding en behaald studiesucces en wel zoals verwacht op basis van hun profielen. Dit gegeven en de resultaten van enkele kleine pilots, maakt zeer aannemelijk dat op de 2

5 studenttypen gerichte vormen van vraaggestuurde didactiek en begeleiding positief aan studiesucces kan bijdragen. Onderwijskundig onderzoekers, onderwijskundig adviseurs, projectteams van opleidingen binnen en buiten hogeschool Utrecht, coördinatoren van het challenge- en excellentie programma s, de directie en management zijn geïnteresseerd, de resultaten zijn met hen gedeeld en ze willen onderzoeken wat zij er mee kunnen. Onder andere een team docenten van facility management van Hogeschool Utrecht in Amersfoort wil er graag mee gaan werken. Er zijn vele presentaties gegeven over het project voordat het startte en gedurende het project in cursusjaar 2013/2014 aan docententeams en management.tevens is er veel correspondentie geweest en zijn er veel inhoudelijke discussies gevoerd met management, directie, docenten en onderwijskundigen over het model en de implicaties en inzichten die het biedt voor onderwijsvernieuwing, matching en profilering. Dit heeft bijgedragen tot een brede bekendheid, acceptatie en draagvlak voor onze benadering en er is een behoefte gecreëerd. Een van de uitkomsten van de discussies is een verheldering over het vraagstuk state or trait met de nadrukkelijke conclusie dat studenten niet worden gestigmatiseerd en niet vastzitten aan een profiel maar zich kunnen ontwikkelen en migreren. Er is een pitch en een poster gepresenteerd op een studiedag van de faculteit economie en management. Er is een blog geplaatst op de site van SURF ( Blog SURF ). Er is een blog geschreven over matching en studiesucces waarin ons project wordt aangehaald ( Blog (Penseel, 2014) ). Er is een webcast gemaakt voor de midterm bijeenkomst van SURF. Tevens zijn vele versies van PPT presentaties gemaakt en gepresenteerd in de verschillende stadia van het project en voor verschillende doelgroepen. We maken een eindrapportage van het project, in de vorm van een PowerPointpresentatie, waarin de studieresultaten van de laatste tentamenperiodes (in juni en juli 2014) worden verwerkt. Tevens willen we daarin de tweede versie van het model meenemen, die we afleiden van de meest recent verkregen dataset van het nieuwe propedeusecohort 14/15. De planning is om het rapport eind september op te leveren. De spilpersonen in het project waren naast mijzelf, Anne-Lise Kamphuis (kwalitatief onderzoeker) en Robert van Ossenbruggen (kwantitatieve analyses). Lector Gerrita van der Veen heeft vanuit haar inhoudelijk expertise op dit gebied een belangrijke rol gespeeld bij de initiatie van het project, de subsidieaanvraag, ze heeft de extra benodigde uren en financiële ruimte ter beschikking gesteld om het project succesvol te kunnen voltooien en ze heeft direct en indirect bijgedragen aan het creëren van draagvlak bij de faculteitsdirectie. De steun en het vertrouwen van de FEM directie en het management van de propedeuse is essentieel geweest voor het goede verloop van het project. 4. Conclusies In het voorgaande hoofdstuk Resultaat is beschreven dat veel enthousiasme en draagvlak is ontstaan voor het project onder docenten, management en directie. De directie vindt het wel belangrijk om het model en interventies in 14/15 verder door te ontwikkelen en te testen voordat het mogelijk zal worden geïmplementeerd als onderdeel van een didactische schil bij het nieuwe onderwijsmodel. Als projectleider heb ik ondervonden dat om er voor te zorgen dat goede ideeën ook werkelijk tot innovaties leiden, er veel energie moet worden gestopt in het overtuigen van mensen met bewezen resultaten. Dat communicatie heel belangrijk is en dat je dat niet vaak genoeg op allerlei manieren gevraagd en ongevraagd kunt doen. Ik heb vele presentaties gegeven en inhoudelijke discussies gevoerd en dat heeft geleid tot het draagvlak en enthousiasme dat essentieel was voor het slagen van dit project. Het organiseren van de metingen onder studenten en het ervoor zorgen dat ze een succes worden dat wil zeggen een hoge respons en serieus ingevulde vragenlijsten vereist veel aandacht en tijd. Docenten en studenten moeten goed geïnformeerd worden over het doel en privacy. Dat lag rondom dit project best wel gecompliceerd. Omdat alles goed van tevoren in het projectplan was uitgedacht en we de juiste expertise in huis hadden, verliep de ontwikkeling van het model en de analyse van de gegevens soepel. 3

6 Als advies zou ik willen meegeven om realistische ambities te hebben maar je ook niet te laten afschrikken door de weerbarstigheid van organisaties. Een goed idee moet steeds weer uitgedragen en uitgelegd worden om draagvlak te creëren, wat cruciaal is voor het slagen van een project. Tevens is een team van toegewijde en deskundigen personen erg belangrijk. Je kunt er beter een paar extra hebben als reserve, voor het geval teamleden om wat voor reden dan ook uitvallen. Dat risico had ik van tevoren niet goed ingeschat. Tenslotte zijn de privacy en ethische aspecten van data verzamelen en de doelen die je er mee nastreeft een lastige kwestie. De doelen en het soort besluiten dat kan worden genomen op basis van de onderzoeken moeten vooraf vast staan en duidelijk worden gecommuniceerd naar de studenten zodat zij weten waaraan zij meewerken als zij data verschaffen en toestemming geven ze te gebruiken. (Zie ook SURF; Ronde tafel discussie ethiek en learning analytics ) 5. Continuering Contactpersoon voor het project is Martin de Boer. Het project heeft veel enthousiasme en draagvlak opgeleverd bij de doelgroep (docenten en management) en is er een goede basis gelegd en behoefte ontstaan om concrete toepassingen gericht op het verhogen van het studiesucces verder door te kunnen ontwikkelen in cursusjaar 14/15. Een projectplan daarvoor moet nog worden geschreven. Ook hogeschoolbreed op CvB niveau en de bij de afdeling Onderwijs en Onderzoek is interesse getoond en overleg om de mogelijkheden van deze benadering verder te onderzoeken. Behalve vraaggestuurde didactiek en begeleiding wordt gedacht aan matching. In november wordt een presentatie verzorgd op de SURF Onderwijsdagen en tevens op een Onderwijscongres van de Hogeschool Utrecht. Er zijn nog geen publicaties ingediend bij tijdschriften, het plan is om dit in de loop van 2014/2015 wel te doen, evenals voor congressen. In december 2014 komt een boekje gereed over de studenttypen en de vertaalslag naar vraaggestuurd onderwijs. 6. Overige opmerkingen De door SURF geboden projectorganisatie heeft veel bijgedragen aan het goede verloop van het project. Ik doel op de geboden structuur en de feedback op het projectplan, de eenvoudige maar doeltreffende opzet van de gevraagde rapportages, en de bijeenkomsten met presentaties, uitwisseling van kennis en ervaring en de suggesties en opbouwende kritiek van de leden van andere projectteams, een gedegen maar simpele financiële verantwoording. Het enthousiasme, de betrokkenheid en de steun van projectleider Wibo Bakker van SURF stelde ik zeer op prijs. 4

7 7. Kostenoverzicht Financiële verantwoording (kostenoverzicht) eindrapport stimuleringsregeling Learning Analytics 2013 Project: Learning Analytics voor vraaggestuurd didactiek en begeleiding Rapportageperiode: t/m Materiele kosten Begroting In projectvoorstel Gerealiseerde projectkosten In rapportage (A) periode (B) (A)-(B) Restant begroting w p w p w p w p Totaal materiele kosten Personele kosten fase , , ,00 fase 2a 3.000, , ,50 fase 2b 3.000, , ,00 fase 2c 3.000, , ,00 fase , , ,00 fase , ,00 - projectmanagement 0 Totaal personele kosten , , ,50 Overige kosten Onvoorzien 0 Totaal overige kosten Totaal projectkosten , , ,50 Opmerking. Het matchingspercentage bedraagt voor dit project 33,33%. SURF subsidieert 66,67% met een maximum van euro Het bedrag w ordt pas na afronding van het project uitgekeerd 5