Studiesucces voorspellen met Blackboard Learn.

Studiesucces voorspellen met Blackboard Learn. Eindrapportage bij stimuleringsregeling Learning Analytics 2013 Penvoerder: Hanzehogeschool Groningen Partners: n.v.t. Looptijd: 1 september 2013 tot 23 augustus 2014 Projectleider: Bob Schoonbeek Datum: 22 augustus 2014 0

Inhoud 1. Korte samenvatting... 1 2. Doelstelling, doelgroep en aanpak... 2 3. Resultaat... 4 4. Conclusies... 8 5. Continuering... 9 6. Overige opmerkingen... 10 7. Kostenoverzicht... 11 Nawoord... 12 Bijlage I. Keuze van de courses en aantal deelnemers.... 12 Bijlage II. Ontwikkelde datamodel voor Access.... 13 Bijlage III. Afbeeldingen van de posters, gebruikt op 10 april 2014.... 15 Bijlage IV. Overzicht uitgeschreven studenten na periode 4.... 17 Bijlage V. Enkele gegevens buiten de scope van het project.... 18 1 www.creativecommons.org/licenses/by/3.0/nl

1. Korte samenvatting Het project beantwoordt de vraag of het mogelijk is om na vier weken van de opleiding op een eenvoudige een eenduidige wijze uit het geregistreerde studiegedrag een doelgroep te isoleren, die een groot aandeel in de uitval van de opleiding tijdens de propedeutische fase vormt. Na het isoleren van deze doelgroep kunnen gerichte interventies het aantal studenten uit deze doelgroep die daadwerkelijk uitvallen mogelijk verminderen. Er zijn 1.385 nieuwe eerstejaars studenten gevolgd die in zes geselecteerde courses (leeromgevingen) in de leeromgeving Blackboard Learn (BBL) het onderwijs van periode 1 hebben gevolgd. Van deze studenten is het studiegedrag en het studiesucces gevolgd in hun eerste studiejaar, 2013-2014. Het studiegedrag is gemeten via een standaard rapportage in BBL, die in elke course beschikbaar is voor instructors. In het onderzoek ligt de focus op het aantal klikken van een (geanonimiseerde) student in BBL. Het studiesucces is gemeten in ECTS. Na de afronding van de tentamens is voor alle 1.385 studenten per onderwijsperiode de balans opgemaakt. Het onderzoek binnen het project toont aan, dat op basis van alleen het studiegedrag in Blackboard Learn (BBL) in de eerste een maand van de opleiding, een specifieke groep studenten geselecteerd kan worden die een groot risico (77% van die doelgroep) lopen om uit te vallen in het propedeutische jaar van hun opleiding. Een interventie op deze groep studenten kan leiden tot bewustwording van mogelijke gevolgen van het geregistreerde studiegedrag. De bewustwording kan leiden tot een verandering in het studiegedrag, voordat de eerste tentamens worden afgenomen. Dit kan vervolgens leiden tot een hoger studiesucces al in periode 1 en een geringere uitval in de propedeuse. De bewustwording kan ook leiden tot een gerichtere uitval, waarbij School en student mogelijk op een betere wijze uit elkaar gaan dan nu soms het geval is. Het onderzoek toont ook aan dat met learning analytics tal van aspecten onderzocht kunnen worden die zowel met de gebruikers van het onderwijs als met de ontwerpers ervan te maken hebben en een belangrijke rol kunnen vervullen in het optimaliseren van het gebruik van ICT in onderwijs en in onderzoek. 1

2. Doelstelling, doelgroep en aanpak 2.1 Doelstelling Het project beantwoordt de vraag of het mogelijk is om na vier weken van de opleiding op een eenvoudige een eenduidige wijze uit het geregistreerde studiegedrag een doelgroep te isoleren, die een groot aandeel in de uitval van de opleiding tijdens de propedeutische fase vormt. Na het isoleren van deze doelgroep kunnen gerichte interventies het aantal studenten uit deze doelgroep die daadwerkelijk uitvallen mogelijk verminderen. Het onderliggende probleem is het lage rendement in de propedeutische fase, veroorzaakt door een hoge uitval van studenten. Het moment waarop duidelijk wordt dat een student dreigt uit te vallen ligt op dit moment ver in de tijd, ongeveer 3,5 maand na aanvang van de studie. Dan zijn de ECTS van de eerste onderwijsperiode binnen en wordt de balans opgemaakt. Hierdoor is een tijdige interventie om studenten bewust te maken van de gevolgen van het studiegedrag op het studiesucces nauwelijks nog doelmatig. 2.2 Doelgroepen College van Bestuur (CvB). Het CvB van de HG heeft prestatieafspraken gemaakt over o.a. het propedeuserendement. Niet nakomen van deze prestatieafspraken kan de HG in belangrijke mate korten op de inkomsten in de toekomst. Het CvB en daarmee de hele HG hebben er baat bij, dat het propedeuse- en diplomarendement geoptimaliseerd worden. Het CvB is betrokken bij het project door middel van het verlenen van toestemming voor het onderzoek binnen het project en het krijgen van informatie via portefeuille overleggen, project overleggen en directe informatie van de projectleider. Het managementteam van de Schools, bestaande uit de dean en de teamleiders Om de prestatieafspraken van HG te kunnen waarmaken, maakt het CvB afspraken met de deans van de Schools. Zij zijn eindverantwoordelijk voor de opleidingen en maken de prestatieafspraken in de praktijk waar. De MT s van de deelnemende Schools zijn geïnformeerd over het project en krijgen een presentatie van de uitkomsten van het onderzoek, toegespitst op hun situatie. Studieloopbaanbegeleiders (Slb ers) Zij begeleiden de studenten direct vanaf de start van de opleiding in de competentieontwikkeling als persoon en professional. Slb ers kunnen studenten beter op maat begeleiden, naarmate zij meer inzicht hebben in het studiegedrag van de studenten. Slb ers zijn geïnformeerd over het project door de Blackboard coördinator die per School is ingesteld. Studenten Studenten komen veelal vanaf de HAVO of het MBO naar het HBO-onderwijs. Voor hun begint een nieuwe periode, met nieuwe uitdagingen. Niet elke student past zich op een manier aan, die studiesucces bevordert. De uitdagingen die een student buiten de studie in een grote studentenstad als Groningen tegenkomt zijn dan ook niet gering. Door in de toekomst feedback op hun studiegedrag in BBL te ontvangen, kunnen zij hun studiegedrag bijsturen of meer bewust een keuze te maken buiten de opleiding. Voor dit project zijn studenten niet benaderd, de verzamelde gegevens zijn anoniem verwerkt en niet te herleiden naar studenten. 2.3 Aanpak Er zijn 1.385 nieuwe eerstejaars studenten gevolgd die in zes courses (leeromgevingen) het onderwijs van periode 1 hebben gevolgd. Dit zijn steeds twee courses in de sectoren techniek, gezondheid en economie, om te voorkomen dat één domein de uitkomst van het onderzoek zou domineren. De courses zijn geselecteerd op de mate van ondersteuning van het onderwijs en de interactie tussen de docent-onderzoekers en de studenten en omvatten het volledige onderwijs van de onderwijsperiode, ofwel 15 EC. Studiegedrag Het studiegedrag is gemeten via een standaard rapportage in BBL, die in elke course beschikbaar is voor instructors. In het onderzoek ligt de focus op het aantal klikken van een (geanonimiseerde) student in BBL. Er zijn meer gegevens beschikbaar over het studiegedrag van deze groep in BBL, maar die vallen buiten de scope van het onderzoek. 2

Studiesucces Het studiesucces is gemeten met de softwareprogramma s ProgRESS en na 1 maart 2014 met Osiris. Na de afronding van de tentamens is voor alle 1.385 studenten per onderwijsperiode de balans opgemaakt. De eerste meting is op 1 januari 2014 gedaan en in oktober 2014 worden de metingen aan de propedeuse 2013-2014 afgerond. De laatste meting vallen buiten de projectperiode van dit project en worden dus niet meegenomen in deze eindrapportage. Voor het onderzoek is de meting wel belangrijk, omdat na de teldatum 1 oktober eventuele aanvechtingen van negatieve BSA toekenning en mogelijk beroepszaken zijn afgerond. Projectperiode Het project is in mei 2013 gestart met het informeren van betrokkenen en starten met het schrijven van een projectvoorstel. De metingen en analyses hebben plaatsgevonden van 15 augustus 2013 t/m 22 augustus 2014. Buiten de scope van de officiële projectperiode worden metingen en analyses nog t/m oktober 2014 doorgezet. Projectorganisatie Het project is uiteindelijk geheel uitgevoerd door de projectleider, Bob Schoonbeek. Andere mensen die ook bij het project betrokken zouden worden zijn door onvoorziene werkzaamheden elders ingezet. Er is op verschillende momenten binnen het stafbureau Onderwijs en Onderzoek advies gevraagd aan collegae / onderzoekers om de gevolgde methode en de analyse kritisch te beschouwen en feedback te geven. Het project is uitgevoerd onder verantwoording van mw. van Os, als betrokken CvB lid van de HG. 3

3. Resultaat 3.1 Meten van studiegedrag Op het meten van het studiegedrag van de nieuwe studenten heeft in de eerste helft van de projectperiode sterk de nadruk gelegen. Het project behelst immers het studiegedrag in de eerste vier weken van de studie. In het project wordt het studiegedrag bepaald door het aantal keren dat een student klikt op een onderdeel van de course in BBL. Type onderdeel (mededeling, bestand, video) en doorgebrachte tijd zijn wel gemeten, maar niet in dit project meegenomen. Deze informatie kan het studiegedrag verder specificeren, maar valt buiten de scope van dit project. De volgende activiteiten zijn uitgevoerd. 1) Er is in overleg met de opleidingen toegang gevraagd in een 12-tal courses van meerdere opleidingen in verschillende sectoren. 2) Er zijn criteria geformuleerd op basis waarvan courses zijn geselecteerd. In de criteria zijn de interactie met de student belangrijk, de ondersteuning door Blackboard Learn (BBL) van het onderwijs en de omvang in ECTS van de course. Met deze criteria zijn de courses gescreend. 3) Er is een keuze gemaakt op basis van zowel de uitkomst van de screening als de verdeling van studenten over verschillende sectoren. Op basis van de keuze zijn uiteindelijk 1.385 studenten betrokken bij het project, verdeeld over 3 sectoren. In bijlage I is een overzicht opgenomen van de keuze van de courses en het aantal deelnemers. 4) Van de studenten die in de eerste vier weken van de opleiding aan het onderwijs hebben deelgenomen, is een tabel gemaakt voor latere verwerking in Access. 5) Er is een overzicht gemaakt van de meetmomenten voor zowel het studiegedrag als het studiesucces voor de looptijd van de periode. 6) Er is op basis van een onderzoekje een keuze gemaakt voor drie rapporten uit de zeven default rapportagemogelijkheden binnen BBL. 7) In totaal zijn 240 metingen verricht in en over de eerste onderwijsperiode van het studiejaar 2013-2014. Hiervan zijn 36 metingen gebruikt voor de primaire doelstelling van de projectaanvraag. De overige metingen zijn aanvullen, verklarend en controlerend. 8) De gegevens van de voor het project relevante metingen zijn geanalyseerd met SPSS en Excel. Hierbij is met SPSS per opleiding de spreiding van het aantal klikken in kaart gebracht en het gemiddelde aantal klikken bepaald. 9) Naar aanleiding van de uitkomsten van de analyses zijn aanvullende analyses gemaakt om bepaalde uitkomsten nader te onderzoeken. Er is expliciet gekozen om niet bij een opleiding navraag te doen over een mogelijke verklaring, maar puur met de verkregen gegevens de analyse uit te breiden. 10) Op basis van de geanalyseerde gegevens van de eerste vier weken zijn groepen studenten geformeerd, op basis van het aantal klikken in BBL. Doel van deze groepsvorming is het gericht kunnen analyseren van het studiesucces in relatie tot het studiegedrag. Groepen Uitgangspunt bij de groepsvorming is de verwachting, dat studenten die niet of nauwelijks van BBL gebruik bij het volgen van het onderwijs, problemen zullen ervaren met het behalen van de tentamens aan het einde van de periode. Het studiesucces zal gering zijn en zal de kans op uitval toenemen ten gevolge van het geringe aantal ECTS. De volgende groepen zijn geformeerd. A. Studenten die in deze groep zitten hebben 0 tot 50% van het gemiddeld aantal klikken van de hele groep in de eerste vier weken laten zien. De verwachting is, dat veel van deze groep studenten gaat uitvallen in de propedeuse. Groep A omvat 498 studenten, 36% van de totale groep studenten. B. Hier laten studenten 50-75% van het aantal klikken zien. De verwachting voor deze groep is, dat ook hier veel mensen gaan uitvallen, vanwege een geringe deelname in de course dan de gemiddelde waarde. Groep B omvat 133 studenten, 10% van de totale groep studenten. C. Studenten klikken hier 75% van het gemiddelde of meer. Dit lijkt een groep die goed aan de gang is en geen afwijkend risico op uitval heeft. Groep C omvat 754 studenten, 54% van de totale groep studenten. Het volgende figuur geeft de verdeling van de groepen weer, geprojecteerd over een histogram uit SPSS. 4

A B C Figuur 1. SPSS histogram met ingetekende grenzen van de groepen A, B en C. Hypothese Op basis van de gegevens die met SPSS zijn vergregen over het aantal klikken is de volgende hypothese opgesteld voor de groep studenten, die het geringste aantal keren klikte in BBL. Van de studenten die minder dan 50% van het gemiddeld aantal klikken als studiegedrag vertoont, valt 80% in het propedeutische jaar bij de betreffende opleiding af. 3.2 Meten van studiesucces In het project is bovenstaande hypothese onderzocht, waarbij uiteraard alle studenten zijn gevolgd en geanalyseerd, niet alleen de studenten die aan de criteria van de hypothese voldoen. De volgende activiteiten zijn uitgevoerd. 1) Na de afronding van periode 1, 2, 3 en 4 zijn de ECTS van alle studenten van de gevolgde opleidingen via rapportages opgevraagd. Voor twee perioden is ProgRESS gebruikt, daarna Osiris. 2) De verkregen gegevens zijn via Excel bewerkt tot bruikbare tabellen met gegevens. 3) Met behulp van een zelf ontwikkelde Access database zijn de resultaten per periode vergeleken met de studenten die in de eerste vier weken van de opleiding zijn waargenomen. In bijlage II zijn de gegevens van de gebruikte tabellen en de relaties opgenomen. 4) In Excel spreadsheets zijn de verkregen gegevens uit de database geanalyseerd. Hierbij zijn de gegevens geanalyseerd voor elke opleiding apart, als geheel en voor de gespecificeerde groepen A, B en C. Belangrijk aandachtspunt bij bovenstaande punten was de reproduceerbaarheid van de werkwijzen om de betrouwbaarheid van de onderzoeksresultaten te vergroten. De handelingen moesten vier malen worden herhaald, met veel tijd ertussen. Daarom zijn de werkwijzen gedetailleerd beschreven in werkinstructies. Voor elke periode zijn de resultaten waarin het studiesucces wordt uitgedrukt in zes categorieën ingedeeld. Naast de categorie uitval zijn dit steeds 0%, 33%, 66%, 100% en meer dan 100% van het aantal ECTS die in die periode(n) gehaald kunnen worden. Per periode zijn dat 15 ECTS, voor de propedeuse totaal 60 ECTS. Door keuzeonderwijs buiten het reguliere programma en vrijstellingen kunnen meer dan de benoemde ECTS gehaald worden. Figuur 2 geeft een beeld van de verdeling van de groepen A, B en C over de categorieën, na periode 1. 5

Figuur 2: Voorbeeld van met Excel gemaakt overzicht van de verdeling van de groepen A, B en C over zes categorieën van het studiesucces. 3.3 Communicatie Zowel binnen het project als binnen de HG zijn afspraken gemaakt om het project en specifiek learning analytics onder de aandacht te brengen. Een overzicht van de activiteiten. Intern HG 1) Presentatie team van stafbureau O&O. Voorafgaande aan het project is het team van het stafbureau geïnformeerd over het hoe en waarom van het project. Vooral het begrip learning analytics is hier sterk toegelicht in relatie tot de leeromgeving BBL en het HG project rendementen. Dit studiejaar verzorg ik een presentatie met de resultaten en conclusies. Hierbij zal ik vooral het aspect van de rol van LA voor het aanbieden van het onderwijs benadrukken (zie ook H6). 2) Posts in nieuwsbrief O&O. In de periodieke nieuwsbrief van het stafbureau zijn meermaals stukjes verschenen over de stand van zaken van het project. 3) Informatiebrief HG stuurgroep rendementen (2x). Binnen de HG is propedeuse- en diplomarendement in projectvorm onder de aandacht gebracht van de Schools. Hierbij werd alleen naar het studiesucces gekeken. Het project Studiesucces voorspellen met Blackboard Learn lag heel mooi in het verlengde van de doelstellingen van het project rendementen. In dat kader is twee maal een schriftelijke terugkoppeling gegeven. 4) HG - ICT en onderwijsdag 10 april 2014. Een zeer succesvolle middag met 150 deelnemers van binnen en buiten de HG die geïnteresseerd waren in de mogelijkheden van ICT in relatie tot het onderwijs. Met een posterpresentatie heb ik aandacht gevraagd (en gekregen) voor het project. In bijlage III zijn beide posters verkleind afgebeeld. De reacties van de aangeschoven docenten waren zeer positief. Naast interesse voor de resultaten van de groepen A, B en C, werden ook de gegevens over doorgebrachte tijd per student in BBL en het studiegedrag van studenten over de uren van de dag en de weekdagen zeer gewaardeerd (zie ook H4). 6

Extern 5) Presentaties aan collegae projectgroepen SURF. Zowel bij de start als bij de midterm rapportage zijn presentaties gegeven aan de collegae onderzoekers en andere aanwezigen. 6) Blogposts en reacties SIG LA (dd. 25 november 2013). Conform de afspraak met SURF is een blogpost geplaatst en is gereageerd op de opmerkingen. 7) Bijeenkomst SURF m.b.t. rol Blackboard in LA (dd. 17 maart 2014). Speciale bijeenkomst, uitgeschreven door de projectleider SURF m.b.t. het verkrijgen van gegevens uit BBL en het interpreteren ervan. Aanleiding was de verschillende belevingen van de projectleiders die met BBL werkten voor het project. 8) Spreker op de onderwijsdagen 2014. Op uitnodiging van SURF verzorg ik op 11 november een presentatie van het project en de resultaten in Rotterdam. 7

4. Conclusies Hypothese klopt Groep A: 0-50% van het gemiddelde aantal klikken. Het onderzoek binnen het project toont aan, dat op basis van alleen het studiegedrag in Blackboard Learn (BBL) in de eerste een maand van de opleiding, een specifieke groep studenten geselecteerd kan worden die een groot risico (77% van die doelgroep) lopen om uit te vallen in het propedeutische jaar van de opleiding. Hiermee lijkt de hypothese bewezen, onder de beschreven condities. Een interventie op deze groep studenten kan leiden tot bewustwording van mogelijke gevolgen van het geregistreerde studiegedrag. De bewustwording kan leiden tot een verandering in het studiegedrag, voordat de eerste tentamens worden afgenomen. Dit kan vervolgens leiden tot een hoger studiesucces in periode 1 en een geringere uitval in de propedeuse. De bewustwording kan ook leiden tot een gerichtere uitval, waarbij School en student mogelijk op een betere wijze uit elkaar gaan dan nu soms het geval is. Mogelijk biedt dit de HG een betere basis om de student te behouden voor de hogeschool maar bij een andere opleiding, of om de student te begeleiden in een andere keuze. Groep B: 50-75% van het gemiddelde aantal klikken. Groep B laat 31% uitval zien, wat overeenkomt met 41 studenten. Groep C: 75% en hoger. In deze groep is het uitvalspercentage 17%, wat overeen komt met 126 studenten. Per onderzochte opleidingen zijn grote verschillen te zien. Bijlage IV geeft een geanonimiseerd overzicht per opleiding. Het is interessant om als vervolg te onderzoeken hoe deze verschillen ontstaan en waarom enkele opleidingen sterk onder het HG gemiddelde uitkomen. Onderzoeken is arbeidsintensief en inspirerend Als je een specifiek onderzoek wilt doen, moet je veel zelf bedenken en ontwikkelen. Dat vergt veel tijd, inspiratie en een onderzoekende houding. Het vraagt ook veel overleg met collegae / onderzoekers / specialisten of je de juiste zaken goed doet en welke blinde vlekken mogelijk optreden. En ook: je komt heel veel zaken tegen, die de moeite waard zijn om verder uit te zoeken (zie ook H6). De data bevat veel gegevens die zeer relevant kunnen zijn voor de opleiding en de studenten en de resultaten geven ook aanleiding om zaken nader uit te zoeken. Enkele voorbeelden. Op welke momenten van de dag, week en periode gebruiken studenten BBL intensief? Hoe kun je daar gebruik van maken, wat betekent dit voor jou als docent? Welke mogelijkheden biedt een DLWO als BBL eigenlijk? Wat zijn invloeden van onderwijs vernieuwingen? Zijn er nog een subgroep te onderscheiden, die ook relatief grote uitval kennen? Het risico is dat je hier veel tijd in steekt, buiten de scoop van het project. LA en het ontwerpen van onderwijs In het kader van het ontwerpen van in de ogen van de HG kwalitatief goed onderwijs kan met LA veel worden bereikt. LA kan inzicht geven in de leerstijlen die worden aangesproken bij studenten, de mate van interactiviteit die gezocht wordt met de student en hoe onderwijskundige principes vorm krijgen. Naast een actuele scan van de inzet van BBL voor een bepaalde course kunnen ook doorgevoerde veranderingen worden gemonitord. Ook kunnen courses onderling worden vergeleken. Met specifieke software 1 kunnen ook opleidingen en Schools op HG niveau worden vergeleken met elkaar. (Zie ook H6.) Aan de slag met LA Er is duidelijk belangstelling voor de gegevens die uit de rapportages van bijvoorbeeld BBL zijn te halen. De bekendheid met de mogelijkheden van LA en BBL zijn gering en misschien zijn de rapportages te complex voor veel mensen. Door het duidelijk formuleren van de aspecten die je wilt onderzoeken met LA kunnen specialisten een eenduidige werkinstructie opstellen. Dit kunnen bijvoorbeeld functioneel beheerders van BBL zijn, in het kader van ondersteunen van het gebruik van BBL. Hierdoor wordt de complexiteit van het onderzoek weggenomen en wordt een eenduidige en reproduceerbare werkwijze geïntroduceerd, die door veel mensen kan worden uitgevoerd. 1 Binnen de HG wordt hiervoor EesyAnalytics van Eesysoft gebruikt, die gebruik maakt van de gegevens van BBL. 8

5. Continuering Inbedding Er zijn binnen de HG voor het komende studiejaar 2014-2015 geen aanvullende afspraken gemaakt over continuering van het project, door bijvoorbeeld de metingen nogmaals uit te voeren en te combineren met interventies door de opleiding. Interessant is dan om te volgen of dit invloed heeft op de uitval van met name groep A. Ook zou het interessant zijn om met LA te onderzoeken of de invoering van de studiekeuzecheck vanaf mei 2014 ook meetbare gevolgen heeft voor groep A. Dit zou goed te onderzoeken zijn door het vergelijken van de gegevens van 2013-2014 met 2014-2015. Door het maken van een werkinstructie om de gegevens uit BBL te halen kan nu wel iedere School / opleiding op een eenvoudige en eenduidige wijze zonder aanvullende middelen de gegevens voor de bepaling van de groep met het hoogste risico op uitval verkrijgen. Vervolgens kunnen interventies, die mogelijk in het kader van het project rendementen al zijn opgesteld, op de groep worden uitgevoerd. Deze werkinstructie is ook beschikbaar voor andere instellingen in het HO die met Blackboard Learn werken en zal ik ontsluiten via de SIG LA. Aanspreekpunt Als functioneel beheerder van BBL en medewerker van het stafbureau onderwijs & onderzoek heb ik een uitstekend platform om mijn opgedane kennis en ervaringen uit te dragen. Dit doe ik binnen mijn team functioneel beheerders, die allemaal lid zijn van één of meer teams die Schools en Kenniscentra onderwijskundig ondersteunen. Binnen de HG hoort bij de ondersteuning ook de digitale leeromgeving en digitaal toetsen thuis. Daarnaast is binnen de HG gekozen om in elke School een School Blackboard coördinator (SBc) aan te wijzen, als aanspreekpunt voor BBL op de werkvloer. In het overleg wat ik met deze groep mensen heb, deel ik ook de ervaringen. Verder verzorg ik voor de opleidingen die daarom vragen een presentatie over de uitkomsten van het onderzoek. Ik zoom hier specifiek in op de opleiding in relatie tot de hele groep. Bijeenkomsten Alle projectleiders, beoordelaars van de projecten en andere belangstellenden sluiten op 9 september de projecten af met een afsluitende bijeenkomst. Ik zal hier ook een pitch voorbereiden en verzorgen. Op 11 november 2014 ben ik een van de sprekers op De Onderwijsdagen. Ik zal hier het onderzoek toelichten en de conclusies weergeven. 9

6. Overige opmerkingen Inrichting onderwijs / ondersteuning onderwijs door ICT In dit project zijn de gegevens die uit BBL zijn verkregen gebruikt om studentgedrag te analyseren. Misschien nog belangrijker is de mogelijkheid om met gegevens uit de rapportages van BBL een analyse te maken van de courses die het onderwijs van een periode ondersteunen. Hierbij kan de analyse zich richten op zaken als: ondersteunt de inrichting van de course de onderwijsvisie van de instelling, de School en/of de opleiding (past de course bij de denkbeelden over kwalitatief goed onderwijs); haalt de docent / opleiding uit het onderwijs / course wat wenselijk en mogelijk is? Is hij/zij voldoende professioneel op dit gebied; spreekt de course de verschillende leerstijlen optimaal aan, is de course voldoende blended ; ondersteunt de course afstandsonderwijs / deeltijdonderwijs in voldoende mate; sluit de opzet van het onderwijs optimaal aan bij verschillende doelgroepen (jonge voltijdstudenten, Internationale studenten, oudere deeltijdstudenten en werkende professionals); wordt BBL optimaal ingezet om de werkdruk van docenten te verlagen; et cetera. Deze benadering kan voor docenten bedreigend overkomen, omdat zij deze omgeving vorm hebben gegeven. Het past goed bij de huidige professionaliseringslag van docenten om professioneel om te gaan met de uitkomsten van zo n analyse en op basis van de bevindingen de eigen deskundigheid te vergroten als dat aan de orde is en onderwijsverbeteringen voor te stellen en door te voeren. Dit zijn ook zinvolle en concrete punten voor een functioneringsgesprek tussen docent en leidinggevende. LA kan dan vervolgens ingezet worden om de course na doorvoering van de verbeteringen te analyseren en te vergelijken met eerdere metingen. Hierdoor kunnen de verbeteringen mogelijk gekwantificeerd worden in termen van studiegedrag en studiesucces. Ik denk dat SURF richting 2020 een belangrijke rol in kan betekenen in gewaarwording van deze mogelijkheid via LA en zo een bijdrage kan leveren aan de professionalisering van de docenten in het HO. Privacy Het is een uitdaging om correct met privacy om te gaan, als het uitgangspunt is om de student voor te lichten over zijn studiegedrag. Individuele feedback (van professionals als Slb er) op individueel studiegedrag kan, zorgvuldig gegeven, zeer positief zijn voor een student en haar of hem helpen bij het maken van keuzes binnen of buiten de opleiding. Individuele studieresultaten en geobserveerd gedrag kan wel gebruikt worden in een gesprek tussen Slb er en student, de gegevens van zijn / haar gedrag in BBL niet. Ik zie een toegevoegde waarde van het gebruiken van deze gegevens, mits correct geïnterpreteerd en bedoeld om de student te helpen. Eenvoud / eenduidigheid De methode die je wilt of misschien moet gebruiken om studiegedrag in BBL te verkrijgen moet eenvoudig toepasbaar zijn in organisatie waar niet iedereen even ICT minded is. Een eenduidige werkinstructie, die bij verschillende uitvoerders tot hetzelfde resultaat leidt is dan zeer belangrijk. Het gebruik zal zich waarschijnlijk beperken tot één maal per jaar en moet ook daarom eenduidig en eenvoudig zijn. De gekozen methode moet een duidelijke meerwaarde bieden voor opleiding tegen lage kosten. 10

7. Kostenoverzicht Financiële verantwoording (kostenoverzicht) eindrapportage Stimuleringsregeling Learning Analytics 2013 (project met matching) Project: Studiesucces voorspellen met Blackboard Learn, Hanzehogeschool Groningen. Rapportageperiode: 01-09-2013 t/m 23-08-2014 Materiele kosten Begroting Gerealiseerde projectkosten Prognose realisatie In projectvoorstel In rapportage Geschatte kosten Restant begroting (A) periode (B) tot einde project (A)-(B) w p1 0 0 0 0 w p2 0 0 0 0 w p3 0 0 0 0 w p4 0 0 0 0 w p5 0 0 0 0 w p6 0 0 0 0 Totaal materiele kosten 0 0 0 0 Personele kosten w p1 1.500 1.500 0 0 w p2 4.000 4.000 0 0 w p3 2.000 2.000 0 0 w p4 1.500 1.500 0 0 w p5 4.500 4.500 0 0 w p6 1.500 1.500 0 0 Totaal personele kosten 15.000 15.000 0 0 Overige kosten Onvoorzien Totaal overige kosten 0 0 0 0 Totaal projectkosten 15.000 15.000 0 0 Opmerking. Het matchingspercentage bedraagt voor dit project 33,33%. SURF subsidieert 66,67% met een maximum van 10.000 euro Het bedrag w ordt pas na afronding van het project uitgekeerd De gemaakte kosten wijken niet af van de in het projectvoorstel opgenomen kosten. 11

Nawoord Ik heb als projectleider van dit project zeer intensief en met heel veel plezier aan dit project gewerkt. Dat ik door omstandigheden het hele project zelfstandig heb uitgevoerd, gaf me de gelegenheid om alle facetten van het project en onderzoek zelf uit te denken en uit te voeren. Zo heb ik weer ervaren dat het doen van onderzoek een schat aan ervaringen en inzichten op kan leveren, binnen en buiten de scoop van het project. Dit geeft weer inspiratie om andere aspecten van het onderwijs en onderzoek te gaan verkennen. De valkuil om naast het eigenlijke onderwerp allerlei andere metingen te gaan verrichten was groot voor mij, misschien omdat ik de overtuiging heb dat hier veel winst voor bijvoorbeeld de HG te behalen is. Winst in de vorm van nieuwe inzichten, die het primaire proces van de HG kunnen versterken. Ik hoop op korte termijn weer een uitdaging in LA-gerelateerd onderzoek te vinden. Ik heb regelmatig collegae van het stafbureau benaderd om mijn ervaringen en gegevens mee te delen en advies te vragen. Zonder mensen te vergeten wil ik de volgende mensen specifiek bedanken. Charlotte Mulder voor haar scherpe blik en goede adviezen bij het invullen van de projectaanvraag. Jos Ensing en Jeroen Sanneman voor hun ondersteuning bij het werken met Access en Excel. Jan Kamphorst en Johan Vochteloo voor hun analytische kijk op de gepresenteerde resultaten en de stappen die ik nog zou kunnen zetten. Als laatste bedank ik het management team voor het mij in staat stellen dit project uit te voeren en het CvB en de bedrijfsjuristen voor het gestelde vertrouwen in mij als projectleider namens de HG. Groningen, 22 augustus 2014, Bob Schoonbeek. 12

Bijlage I. Keuze van de courses en aantal deelnemers. Opmerking. Uiteindelijk sloot de meetperiode af met 1.385 studenten. 12

Bijlage II. Ontwikkelde datamodel voor Access. 1. Opzet van de Access database t.b.v. onderzoek Studiesucces met Blackboard Learn. Tabel1- Tabel2- Tabel3-Studiesucces-Periode1 Tabel4-Studiesucces-Periode2 t/m 4 Tabel5-Conversie Studiegedrag- Login Studiegedrag-Uren Bron: BBL Bron: BBL Bron: ProgRESS Bron: Osiris Bron: ProgRESS Data Data Data Data Data NAW-NUMMER NAW-NUMMER STD-NUMMER Nog niet bekend, wrs: NAW-NUMMER BBL-LOGIN BBL-UREN PERIODE STD-NUMMER = NAW-NUMMER STD-NUMMER CODE ECTS PERIODE NAAM SCHOOL COHORT ECTS EMAIL NAAM-NUMMER NAAM SCHOOL Opmerking CODE slaat op de mate van risico op basis van het aantal logins. 13 Opmerking - PAKKET Opmerking Via Tabel conversie NAW- NUMMER toevoegen. Opmerking Per 17 maart 2014 gaat Osiris live. Het in ProgRESS gehanteerde NAWnummer wordt in Osiris studentnummer genoemd. Let op tenaamstelling in de tabel! Onbekend is de werkwijze van het binnenhalen van de ECTS per periode. OPLEIDING Opmerking - 2. Output database Uitgangspunt van het onderzoek is de relatie tussen het aantal logins (tabel 1) en het studiesucces (tabellen 3 en 4). Daarnaast is de relatie tussen het aantal uren (tabel 2) en het studiesucces (tabellen 3 en 4) van belang. Ook moet de relatie tussen de combinatie login (tabel 1) en uren (tabel 2) met het studiesucces (tabellen 3 en 4) worden gelegd. Omdat bij tabel 3 niet gewerkt wordt met het NAW-NUMMER, moet met tabel 5 een conversie plaatsvinden. De relaties moeten zowel apart als in combinatie kunnen worden gedifferentieerd naar opleiding (tabel 5). Via een output naar Excel kan een nadere statistische analyse met SPSS gemaakt worden. Output BBL-LOGIN met ECTS: 1) per periode voor alle studenten en 2) per periode, per opleiding. BBL-UREN met ECTS 1) per periode voor alle studenten en 2) per periode, per opleiding. BBL-UREN/BBL-LOGIN met ECTS 1) per periode voor alle studenten en 2) per periode, per opleiding.

3. Access DataBase Query: Q1_StudiegedragA Samenvoegen BBL uren (T2) en BBL Login (T1). Join = 2 Velden: NAW-NUMMER BBL-LOGIN BBL-UREN CODE SCHOOL A Query: Q2_StudiegedragB Toevoegen STD-NUMMER en OPLEIDING (T5) aan Q1. Join = 2 Velden: NAW-NUMMER STD-NUMMER BBL-LOGIN BBL-UREN CODE SCHOOL OPLEIDING Query: Q3_ResultatenPeriode1 Toevoegen PERIODE, ECTS, COHORT en PAKKET (T3) aan Q2. Join = 2 Velden: NAW-NUMMER STD-NUMMER BBL-LOGIN BBL-UREN CODE PERIODE ECTS SCHOOL OPLEIDING COHORT PAKKET 14

Bijlage III. Afbeeldingen van de posters, gebruikt op 10 april 2014. 15

16

Bijlage IV. Overzicht uitgeschreven studenten na periode 4. Overzicht uitgeschreven studenten per groep, opleiding en voor de HG als geheel (22-08-2014) Opleiding 1 Opleiding 2 Opleiding 3 Opleiding 4 Opleiding 5 Opleiding 6 HG totaal Absoluut % Absoluut % Absoluut % Absoluut % Absoluut % Absoluut % Absoluut % Uitgeschreven groep A 84 64% 13 54% 17 65% 24 53% 220 92% 25 78% 383 77% Uitgeschreven groep B 5 16% 19 68% 3 20% 2 22% 9 33% 5 23% 41 31% Uitgeschreven groep C 30 18% 59 80% 5 13% 2 3% 12 5% 18 13% 126 17% Totaal / gemiddeld: 119 36% 91 72% 25 31% 28 23% 241 45% 48 25% 550 40% 17

Bijlage V. Enkele gegevens buiten de scope van het project. 18